일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- PostgreSQL
- kafka ui
- MariaDB
- PrestoDB
- ui for kafka
- Kafka
- elasticearch
- SSL
- kibana
- naverdevelopers
- fluentd
- elasticsearch
- Python
- MongoDB
- kafka connect
- logstash
- pyspark
- Today
- Total
Dev_duri
Kafka 기본 명령어 본문
Kafka 로그 확인
cat /kafka(설치된 카프카 디렉토리)/logs/server.log
Zookeeper 실행
/zookeeper(설치된 주키퍼 디렉토리)/bin/zkServer.sh start
Kafka topic 생성
./kafka-topics.sh --zookeeper [주키퍼1 ip]:2181,[주키퍼2 ip]:2181,[주키퍼3 ip]:2181/localhost.localdomain_znode --replication-factor 1 --partitions 1 --topic [토픽명] --create
카프카 메세지 전송
실행 위치 (/kafka(설치된 카프카 디렉토리)/bin)
./kafka-console-producer.sh --topic [토픽명] --broker-list [카프카 ip]:9092
카프카 메세지 전송(키값 줘서)
./kafka-console-producer.sh --topic topic19 --broker-list 172.30.1.22:9092,172.30.1.66:9092,172.30.1.91:9092 --property "parse.key=true" --property "key.separator=:"
토픽리스트 조회
/kafka-topics.sh --list --bootstrap-server localhost:9092
컨슈머 상태와 오프셋 확인
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-consumer --describe
컨슈머 그룹 리스트 확인
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
카프카 메세지 수신
./kafka-console-consumer.sh --topic [토픽명] --bootstrap-server [카프카 ip]:9092 --from-beginning
카프카 토픽 삭제
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic MyTopic
'Kafka' 카테고리의 다른 글
Impala/Kudu Kafka Connector (0) | 2023.02.16 |
---|---|
Apache Beam (0) | 2023.02.16 |
Spark (Kafka to Hadoop)-pyspark (0) | 2023.02.16 |
Flink (0) | 2023.01.31 |
Kafka_Tutorial_Word (0) | 2022.12.04 |