Dev_duri

구성도 - Extra Small Size 기반 아키텍처 흐름도 각 컴포넌트 설명LokiStack 필드 파드·컴포넌트 명칭처리 구간 주요 역할gatewayLokiStack Gateway접근·라우팅 계층OpenShift 환경에서 Loki의 인증·인가 및 멀티테넌시 진입점 역할을 수행한다. 요청의 테넌트를 식별하고 권한을 확인한 후, 로그 쓰기 요청은 Distributor, 조회 요청은 Query Frontend 등 적절한 Loki 내부 서비스로 라우팅한다. 로그 데이터를 직접 저장하거나 LogQL 쿼리를 실행하지 않는다.distributorDistributor쓰기 경로로그 클라이언트의 Push 요청을 최초로 수신하는 Stateless 컴포넌트이다. 로그의 레이블, 타임스탬프, 로그 길이 등을 검증하고 ..

Key, Value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 인메모리 DBMS입니다.키워드key, value 구조비정형 데이터오픈 소스인메모리특징메모리 기반이라 속도 빠름서버 장애시 데이터 손실but, 영속성 지원함다양한 데이터 타입을 지원stringlisthashsetsorted set등등Single Thread한번에 하나의 명령만 처리가능중간에 처리가 긴 명령어 들어오면 후속 명령어들은 대기상태 (get, set같은 단순 작업은 매우 빠름)즉, 처리가 긴 명령어는 쓰지 않는게 좋음트랜잭션 지원명령어를 queue에 모아두고 한번에 실행rollback 지원 X다양한 아키텍처 지원Master-Slave 형식의 데이터 이중화 구조에 대한 Redis Replication분산 처리를 위한..

MetalLB 란Kubernetes기반 클라우드 서비스에서 내부 Service를 외부에 노출하는 대표적인 방법 중 하나이다. 다만 퍼블릭 클라우드(AWS, Azure, GCP) 등에서는 자동으로 지원해주는 Load Balancer를 만들어 줄 수 있다. 외부와 폐쇄된 air-gap 환경이나 일반적으로 온프레미스 환경에서 K8s를 사용할 때 많이 사용한다. 역할 1. 외부 IP에 할당하여 클라우드 환경 외부에서 해당 Service에 접근 가능하도록 한다. ( Controller )해당 Pod에 대한 LoadBalancer Service 생성MetalLB를 통해 미리 생성한 IPAddressPool을 확인Service에 IPAddressPool 범위 내의 IP 할당2. 외부에 이 IP를 광고한다. ( S..

DLQ 개념Kafka Consumer에서 DLQ는 정상 처리에 실패한 메시지를 격리하여 유실 없이 별도 보관/재처리 하기 위한 패턴입니다. DLQ는 처리 실패 메시지를 원래 토픽에서 분리하여 ".DLT" 와 같은 별도 토픽으로 보내는 방식으로 데이터 유실을 방지하고 후속 처리를 유도합니다. [ 처리 흐름 ]1. Consumer가 메시지 수신2. 비즈니스 로직 처리 중 예외 발생3. 재시도(Retry) 수행4. 재시도 초과 시 DLQ로 전송 DLQ 도입 고려 요소 도입이 적절한 경우도입이 불필요한 경우- 데이터 유실을 절대 허용할 수 없는 시스템 (예: 금융 거래, 주문 시스템)- Consumer가 일시적으로 장애가 발생할 가능성이 있는 경우- 메시지 처리 오류가 발생할 수 있는 복잡한 비즈니스 로직을 운..

해당 페이지에서는 Oracle의 Online Redo Log(로테이트 구조) 와 Archive Log 동작을 운영 관점에서 깊이 있게 정리한 것입니다.Debezium(LogMiner) 기반 CDC 운용 시 어떤 포인트를 특히 주시해야 하는지도 함께 적었습니다.1) Redo Log 기본 구조 (그룹·멤버·스레드)Redo Buffer: SGA 내 메모리 버퍼. DML/DDL의 변경 벡터가 먼저 적재됨.LGWR: Redo Buffer를 Online Redo Log 파일로 순서대로 기록.Online Redo Log:Group(필수): 최소 2개 이상 권장, 보통 3개 이상.Member(선택/권장): 같은 Group을 서로 다른 디스크 경로에 복수 멤버로 미러링(멀티플렉싱)해 장애 내구성 확보.Thread: RA..

해당 페이지에서는 Oracle의 Redo 로그 구조, 보조 로깅(supplemental logging) 활성화 후 변화, 그리고 Kafka Connector(LogMiner 기반) 가 그 Redo를 어떻게 사용하는지까지 단계적으로 설명합니다.1. Oracle Redo Log에 기본적으로 쌓이는 내용Oracle Database는 모든 DML(INSERT/UPDATE/DELETE) 에 대해 “복구용”으로 다음과 같은 Redo Entry를 생성합니다.Redo 구성요소 설명SCN(System Change Number)트랜잭션 순서를 보장하는 일련번호Data Block Address (DBA)변경된 데이터 블록의 위치 (파일 번호 + 블록 번호)Change Vector (Redo Record)해당 블록 내에서 어..

Oracle LogMiner는 Oracle Database의 Redo Log(온라인 로그와 아카이브 로그)에 기록된 트랜잭션 변경 내역을 분석하여 데이터 변경 이력(INSERT, UPDATE, DELETE) 을 복원하는 기능입니다. Kafka의 Debezium Oracle Source Connector는 이 LogMiner를 활용해 CDC(Change Data Capture) 이벤트를 추출하고 Kafka로 전송합니다.1. LogMiner의 주요 기능기능 설명Redo Log 분석Oracle이 DML/DDL 작업 시 생성하는 Redo Entry를 읽고, 각 트랜잭션의 변경 SQL을 재구성합니다.트랜잭션 단위 복원COMMIT 또는 ROLLBACK 단위로 트랜잭션 경계를 식별할 수 있습니다.SCN 기반 추적각 ..

0. 개념Redis Sentinel 모드는 고가용성(High Availability, HA)을 위해 만들어진 자동 장애 감지 및 복구(Automatic Failover) 기능입니다.즉, 마스터(Primary) Redis 서버가 다운되면 Sentinel이 자동으로 새로운 마스터를 선출하고, 기존 슬레이브(Replica)들이 이를 따르도록 재구성합니다. ▶ (1) Monitoring (감시)Sentinel은 지정된 Master/Replica들을 주기적으로 PING 하며 상태를 체크합니다.응답이 일정 시간(down-after-milliseconds) 이상 없으면 SDOWN (Subjectively Down) 상태로 판단합니다. ▶ (2) Agreement (합의)다른 Sentinel 인스턴스들과 통신하여 다수..