Kafka sink Connector ( MongoDB )

Mongo DB는 Json 기반의 document 모델을 사용하는 확장성이 좋은 NoSqlDB 입니다. 

또한 스키마가 없어 데이터 변경에 대해 유연하고, 다양한 형태의 데이터를 한번에 담을 수 있어 여러 정보를 한번에 확인할 수 있습니다. 

MongoDB의 데이터는 Application에서 다루는 오브젝트와 1:1로 매칭되기에 개발자는 데이터를 쉽게 이해하고 빠르게 개발할 수 있습니다. 

 

위를 포함한 여러  장점들로 인해 비즈니스 상에서 MongoDB를 많이 운용하는 추세입니다. 

그러하여 개인 프로젝트로 MongoDB를 활용해보려고 합니다. 

먼저 운영중인 Kafka와 같이 사용하기 위해 Sink Connector 구성을 해주었습니다. 

 

커넥터를 구성할 때는 "debezium-debezium-connector-mongodb-2.0.1" 해당 커넥터를 활용했습니다. 

 

위는 임의로 구성한 토픽을 UI for Kafka로 조회한 것입니다. 

 

Kafka의 토픽 내용과 같은 데이터가 MongoDB 상에도 생성된 것을 확인할 수 있습니다. 

이렇게 Sink가 정상적으로 연결된 것이 확인되었습니다.