Dev_duri

**ACL (Access Control List)**은 Kafka에서 인증된 사용자의 리소스 접근 권한을 제어하는 방식입니다.Kafka는 SASL 인증을 기반으로 사용자 신원을 확인한 뒤, ACL을 통해 다음과 같은 리소스 단위로 접근 권한을 설정합니다:Topic: 메시지 읽기(Read), 쓰기(Write), 생성(Create) 등Consumer Group: 오프셋 조회(Read), 그룹 메타데이터 접근(Describe)Cluster: 클러스터 생성/변경/조회 등의 관리자 권한 ACL은 Kafka에 기본 내장된 기능이며, kafka-acls.sh CLI를 통해 관리할 수 있습니다.고객사의 요구 사항 중 보안, 사용자 관리 측면에서 Sasl 및 ACL 에 대한 질의가 많이 있습니다. 리소스권한 종류설명To..

목표ZooKeeper + Kafka (ZK broker)클러스터를 KRaft Controller + Kafka (KRaft broker) 클러스터로 전환합니다.완전히 새로운 KRaft controller를 구성하고 ZK broker와 함께 마이그레이션 모드로 등록하면 ZooKeeper 메타 데이터를 KRaft controller로 마이그레이션 할 수 있습니다.이점Zookeeper 종속성 제거 : KRaft Mode는 Zookeeper를 사용하지 않고 Kafka Cluster를 운영할 수 있도록 합니다.단일 클러스터 관리 : Kafka Cluster에서 자체적인 메타데이터 저장소를 가지며 단일 시스템으로 운영할 수 있어 관리 및 운영의 복잡성이 감소합니다.성능 및 확장성 향상 : 브로커 노드 개수의 증가로..

개념Kafka Connect는 커넥터 플러그인을 사용하여 Kafka 브로커와 다른 시스템 간에 데이터를 스트리밍하기 위한 통합 컴포넌트이다. Kafka Connect는 커넥터를 사용하여 데이터를 가져오거나 내보내기 위해 데이터베이스와 같은 외부 데이터 소스 또는 대상과 Kafka를 통합하기 위한 프레임워크를 제공합니다. 데이터소스 → Kafka Cluster 방향으로 데이터소스의 이벤트 스트림을 브로커에 저장하는 Connector를 Source Connector 라고 한다. Kafka Cluster → Target System 방향으로 토픽에 저장되는 이벤트 스트림을 타겟 시스템에 저장하는 Connector를 Sink Connector 라고 한다구성Kafka Connect는 내부적으로 다음 3가지 컴포넌..

개요Kafka는 기본적으로 누구나 접근 가능한 구조를 가지고 있어, 실서비스 환경에서는 인증(Authentication), 권한 제어(Authorization), 데이터 암호화(Encryption)와 같은 보안 설정이 필수적이다. 이 중 **SASL(Simple Authentication and Security Layer)**은 Kafka에서 클라이언트의 신원을 확인하기 위한 인증 체계로 사용된다. SASL은 다양한 인증 메커니즘을 Kafka 클러스터에 적용할 수 있도록 하는 프레임워크이다. 클라이언트가 Kafka에 접속할 때, SASL을 통해 사용자 인증을 수행할 수 있다.Kafka에서 지원하는 대표적인 SASL 메커니즘은 다음과 같다: 메커니즘설명특징PLAIN사용자 이름과 비밀번호를 평문으로 전송TL..

개요Kafka Cluster는 다음과 같은 주요 구성요소로 이루어집니다Broker (브로커)ZooKeeper 또는 Kafka ControllerTopic / Partition / ReplicaProducer / ConsumerBroker (브로커)Kafka에서 실제로 메시지를 저장하고 전송하는 서버 단위 구성원입니다.하나의 Kafka 클러스터에는 여러 개의 브로커가 있습니다 (예: Broker 1, Broker 2, …).Topic은 여러 Partition으로 구성되고, 각 파티션은 하나의 브로커에 저장됩니다.브로커는 메시지를 디스크에 저장하고, **복제(replication)**도 관리합니다. 역할 요약메시지 저장 및 전송리더/팔로워 역할 분담 (리더 파티션은 브로커 하나가 담당)컨슈머 요청 처리 Ka..

개요Kafka Cluster의 기본적인 설치 과정구성온프레미스 환경을 기준으로 구성Java : openjdk version "17.0.13" 2024-10-15 LTSVM : 7 대 (Broker : 3, Controller : 3 / Monitoring VM : prometheus, grafana, UI For Kafka )Controller (KRaft)3대kaf04,kaf05,kaf07메타데이터 관리. ZooKeeper 없이 운영Broker3대kaf01,kaf02,kaf03메시지 송수신 및 저장Monitoring1대mon1Prometheus, Grafana, UI for kafka 등 구성 가능설정 Controller VMcontroller.properties카프카 컨트롤러를 위한 설정vim /da..