Dev_duri

현재 테스트 서버에 아래와 같은 데모 시나리오 테스트/개발 을 완료 하였습니다. 1. NAVER Developers를 활용하여 원하는 키워드의 뉴스를 Crawling 하도록 파이썬 코드를 구성하였습니다. import requests import json import avro from bs4 import BeautifulSoup from fluent import sender from datetime import datetime sender.setup('myapp', host='fluent.host.ip', port=8888) url = 'https://openapi.naver.com/v1/search/news.json?' clientid = "ERgXUWS4ipcN34mBCk2D" clientsecret ..

EFK란 Elasticsearch + Fluentd + Kibana 입니다. 쿠버네티스환경에서 수많은 컨테이너의 로그를 수집하여 통합적으로 로그를 UI로 확인할 수 있는 인터페이스입니다. 테스트 서버에 아래 같은 데모를 구축하여 테스트 완료 하였습니다. 먼저 MariaDB에 적재 되어 있는 Table의 Data를 Fluentd가 아래 소스와 같이 SQL을 사용하여 json형식으로 추출하고 Kafka에 PUB해준 후 Topic에 적재된 Data를 다시 SUB하여 ElasticSearch에 넣어 줍니다. 이후 kibana에서 해당 Index 패턴을 정의 해준 후 Dashboard형식으로 표출 합니다. Mysql To Kafka 소스 @type mysql_replicator host IP username ro..

테스트 서버에 아래 같은 데모를 구축하여 테스트 완료 하였습니다. 먼저 MariaDB에 적재 되어 있는 Table의 Data를 Fluentd가 아래 소스와 같이 SQL을 사용하여 json형식으로 추출한 후 ElasticSearch에 넣어 줍니다. 이후 kibana에서 해당 Index 패턴을 정의 해준 후 Dashboard형식으로 표출 합니다. @type mysql_replicator host IP username root password ishark2020 database ishark query SELECT id,id2,id3 FROM fluenttestsss primary_key id interval 10s enable_delete no tag replicator.livechat.chat_chennai..

MariaDB에 있는 데이터를 Logstash 이용하여 원하는 컬럼만 Select Elasticsearch로 적재 이후, Elasticsearch에 적재되며 추가된 Timestamp 포함하여 Elastic에 붙은 PrestoDB에서 Logstash 이용하여 MariaDB에 적재하는 과정까지 테스트> Logstash 이용하여 원하는 컬럼만 SELECT input { jdbc { jdbc_validate_connection => true jdbc_driver_library => "/usr/local/mariadb-java-client-1.1.7.jar" jdbc_driver_class => "Java::org.mariadb.jdbc.Driver" jdbc_connection_stri..

물리적 개념 Node 노드는 Elasticsearch 클러스터에 포함된 단일 서버로서 데이터를 저장하고 클러스터의 색인화 및 검 색 기능에 참여한다. Shard 인덱스 내부에는 색인된 데이터들이 존재하는데 이 데이터들을 하나로 뭉쳐서 존재하지 않고 물리적 공간에 여러 개의 부분들로 나뉘어서 존재한다 이러한 부분들을 샤드 라고 한다. Segment 세그먼트란 엘라스틱서치에서 문서의 빠른 검색을 위해 설계된 자료구조이다 각 샤드는 다수의 세그먼트로 구성되어있다. 논리적 개념 Document Elasticsearch 데이터 최소 단위JSON오브젝트 하나, 하나의 다큐먼트는 다양한 필드로 구성되어 있으며 이 필드는 데이터 필드에 해당하는 데이터 타입이 들어감 중첩구조를 지원하기 때문에 다큐먼트 내부에 다규먼트가..