Dev_duri

MariaDB에 있는 데이터를 Logstash 이용하여 원하는 컬럼만 Select Elasticsearch로 적재 이후, Elasticsearch에 적재되며 추가된 Timestamp 포함하여 Elastic에 붙은 PrestoDB에서 Logstash 이용하여 MariaDB에 적재하는 과정까지 테스트 > Logstash 이용하여 원하는 컬럼만 SELECT input { jdbc { jdbc_validate_connection => true jdbc_driver_library => "/usr/local/mariadb-java-client-1.1.7.jar" jdbc_driver_class => "Java::org.mariadb.jdbc.Driver" jdbc_connection_string => "jdbc:m..

Nosql기반의 저장소인 Elasticsearch에 Presto 엔진이 붙어 Elastic의 DSL쿼리를 SQL쿼리로 변환하여 데이터를 추출 후 Logstash 가 해당 Data를 Kafka의 특정 Topic에 전송 후 MariaDB에 해당 Data 적재. Kibana를 통해 Elastic index 조회 DBeaver를 통해 PrestoDB 소스 Data를 조회 logstash 구동(presto to kafka) Kafka 토픽 확인 logstash 실행(kafka to maria) maria table 조회