Dev_duri

개요고객사 요청으로 소켓(TCP) 서버를 타겟으로 하여 데이터를 카프카 토픽에 적제할 수 있는 기능을 가진 [ Camel Kafka Netty Source Connector ] 를 테스트 진행하였다. Apche Camel우선, Camel Connector는 Apache Camel에 속한 플러그인이다. Apache Camel이란 Camel은 다양한 시스템에서 데이터를 소비하거나 생성하는 것을 빠르고 쉽게 통합할 수 있는 오픈 소스 통합 프레임워크라고 공식 사이트에 기재되어 있다. Apache Camel DocuApache Camel™은 잘 알려진 엔터프라이즈 통합 패턴을 기반으로 하는 다목적 오픈 소스 통합 프레임워크입니다 . Camel을 사용하면 다양한 도메인별 언어( Java, XML, Groovy, ..

NodePort란NodePort는 Kubernetes 서비스 중 하나의 유형입니다.이런 서비스가 생성되면 Kubernetes는 클러스터의 모든 노드에 포트를 할당하고,이 포트로 들어오는 모든 트래픽이 해당 서비스로, 그리고 궁극적으로 그 서비스 뒤에 있는 파드(Pod)로 라우팅되도록 보장합니다.트래픽 라우팅은 Kubernetes의 kube-proxy 컴포넌트가 수행합니다. 파드가 어떤 노드에서 실행되느냐는 중요하지 않습니다.NodePort는 모든 노드에서 열려 있기 때문에, 트래픽은 항상 파드에 도달할 수 있습니다.따라서, 클라이언트는 Kubernetes 클러스터의 어떤 노드든 상관없이, 해당 노드의 NodePort에 연결하기만 하면 되고, 나머지는 Kubernetes가 처리합니다.기본적으로 NodePo..

**ACL (Access Control List)**은 Kafka에서 인증된 사용자의 리소스 접근 권한을 제어하는 방식입니다.Kafka는 SASL 인증을 기반으로 사용자 신원을 확인한 뒤, ACL을 통해 다음과 같은 리소스 단위로 접근 권한을 설정합니다:Topic: 메시지 읽기(Read), 쓰기(Write), 생성(Create) 등Consumer Group: 오프셋 조회(Read), 그룹 메타데이터 접근(Describe)Cluster: 클러스터 생성/변경/조회 등의 관리자 권한 ACL은 Kafka에 기본 내장된 기능이며, kafka-acls.sh CLI를 통해 관리할 수 있습니다.고객사의 요구 사항 중 보안, 사용자 관리 측면에서 Sasl 및 ACL 에 대한 질의가 많이 있습니다. 리소스권한 종류설명To..

목표ZooKeeper + Kafka (ZK broker)클러스터를 KRaft Controller + Kafka (KRaft broker) 클러스터로 전환합니다.완전히 새로운 KRaft controller를 구성하고 ZK broker와 함께 마이그레이션 모드로 등록하면 ZooKeeper 메타 데이터를 KRaft controller로 마이그레이션 할 수 있습니다.이점Zookeeper 종속성 제거 : KRaft Mode는 Zookeeper를 사용하지 않고 Kafka Cluster를 운영할 수 있도록 합니다.단일 클러스터 관리 : Kafka Cluster에서 자체적인 메타데이터 저장소를 가지며 단일 시스템으로 운영할 수 있어 관리 및 운영의 복잡성이 감소합니다.성능 및 확장성 향상 : 브로커 노드 개수의 증가로..

개념Kafka Connect는 커넥터 플러그인을 사용하여 Kafka 브로커와 다른 시스템 간에 데이터를 스트리밍하기 위한 통합 컴포넌트이다. Kafka Connect는 커넥터를 사용하여 데이터를 가져오거나 내보내기 위해 데이터베이스와 같은 외부 데이터 소스 또는 대상과 Kafka를 통합하기 위한 프레임워크를 제공합니다. 데이터소스 → Kafka Cluster 방향으로 데이터소스의 이벤트 스트림을 브로커에 저장하는 Connector를 Source Connector 라고 한다. Kafka Cluster → Target System 방향으로 토픽에 저장되는 이벤트 스트림을 타겟 시스템에 저장하는 Connector를 Sink Connector 라고 한다구성Kafka Connect는 내부적으로 다음 3가지 컴포넌..

개요Kafka는 기본적으로 누구나 접근 가능한 구조를 가지고 있어, 실서비스 환경에서는 인증(Authentication), 권한 제어(Authorization), 데이터 암호화(Encryption)와 같은 보안 설정이 필수적이다. 이 중 **SASL(Simple Authentication and Security Layer)**은 Kafka에서 클라이언트의 신원을 확인하기 위한 인증 체계로 사용된다. SASL은 다양한 인증 메커니즘을 Kafka 클러스터에 적용할 수 있도록 하는 프레임워크이다. 클라이언트가 Kafka에 접속할 때, SASL을 통해 사용자 인증을 수행할 수 있다.Kafka에서 지원하는 대표적인 SASL 메커니즘은 다음과 같다: 메커니즘설명특징PLAIN사용자 이름과 비밀번호를 평문으로 전송TL..

개요Kafka Cluster는 다음과 같은 주요 구성요소로 이루어집니다Broker (브로커)ZooKeeper 또는 Kafka ControllerTopic / Partition / ReplicaProducer / ConsumerBroker (브로커)Kafka에서 실제로 메시지를 저장하고 전송하는 서버 단위 구성원입니다.하나의 Kafka 클러스터에는 여러 개의 브로커가 있습니다 (예: Broker 1, Broker 2, …).Topic은 여러 Partition으로 구성되고, 각 파티션은 하나의 브로커에 저장됩니다.브로커는 메시지를 디스크에 저장하고, **복제(replication)**도 관리합니다. 역할 요약메시지 저장 및 전송리더/팔로워 역할 분담 (리더 파티션은 브로커 하나가 담당)컨슈머 요청 처리 Ka..

개요Kafka Cluster의 기본적인 설치 과정구성온프레미스 환경을 기준으로 구성Java : openjdk version "17.0.13" 2024-10-15 LTSVM : 7 대 (Broker : 3, Controller : 3 / Monitoring VM : prometheus, grafana, UI For Kafka )Controller (KRaft)3대kaf04,kaf05,kaf07메타데이터 관리. ZooKeeper 없이 운영Broker3대kaf01,kaf02,kaf03메시지 송수신 및 저장Monitoring1대mon1Prometheus, Grafana, UI for kafka 등 구성 가능설정 Controller VMcontroller.properties카프카 컨트롤러를 위한 설정vim /da..