Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- naverdevelopers
- kafka ui
- pyspark
- elasticsearch
- elasticearch
- logstash
- kafka connect
- Kafka
- Python
- PrestoDB
- MariaDB
- PostgreSQL
- MongoDB
- SSL
- fluentd
- ui for kafka
- kibana
Archives
- Today
- Total
목록fluentd (1)
Dev_duri
Fluentd Web crawling
현재 테스트 서버에 아래와 같은 데모 시나리오 테스트/개발 을 완료 하였습니다. 1. NAVER Developers를 활용하여 원하는 키워드의 뉴스를 Crawling 하도록 파이썬 코드를 구성하였습니다. import requests import json import avro from bs4 import BeautifulSoup from fluent import sender from datetime import datetime sender.setup('myapp', host='fluent.host.ip', port=8888) url = 'https://openapi.naver.com/v1/search/news.json?' clientid = "ERgXUWS4ipcN34mBCk2D" clientsecret ..
Elastic Stack
2023. 3. 27. 15:55