Elastic/PrestoDB to Kafka_Study

Nosql기반의 저장소인 Elasticsearch에 Presto 엔진이 붙어 Elastic의 DSL쿼리를 SQL쿼리로 변환하여 데이터를 추출 후 Logstash 가 해당 Data를 Kafka의 특정 Topic에 전송 후 MariaDB에 해당 Data 적재.

 

Kibana를 통해 Elastic index 조회

 

DBeaver를 통해 PrestoDB 소스 Data를 조회

 

logstash 구동(presto to kafka)

Kafka 토픽 확인

logstash 실행(kafka to maria)

 

maria table 조회