Kafka

오늘은 지난 번 글에 이어서 본격적으로 도커로 카프카 환경을 구축해보겠습니다! 저는 일단 주키퍼를 사용하지 않고 Kraft를 활용해서 브로커들을 관리할 예정이기에 카프카는 3.5.1 버전을 활용하고 주키퍼는 별도로 사용하지 않겠습니다. 1. 네트워크 구성 networks: data_network: # 카프카 클러스터 간의 내부 통신에 사용되는 네트워크 먼저 data_natwork 라는 네트워크를 정의하였습니다. 이 네트워크는 카프카 클러스터 내의 다양한 서비스 간의 내부 통신을 위해 사용될 예정이며 이는 도커 내부 네트워크를 사용함으로써 서비스들이 서로를 효율적이게 찾을 수 있도록 해줍니다! 2. 볼륨 구성 # 볼륨 구성 volumes: DataVolume00: # 로컬 드라이버를 사용하는 볼륨 driv..

오늘은 Docker compose를 활용하여 카프카 기본 환경을 구축해보려고 합니다! 해당 환경은 dokcer compose 를 활용하여 3대의 브로커 서버와 1대의 kafka web ui 로 구성된 환경입니다. 시작에 앞서 카프카 설명을 간단하게 해보도록 하겠습니다! 1. Kafka란? 카프카란? Apache Kafka는 실시간 스트리밍 데이터 처리를 위해 Linkedin에서 개발하였으며 현재는 Apache 소프트웨어 재단에서 관리하고 있는 오픈 소스 분산 데이터 스트리밍 플랫폼 입니다. 여러 데이터 스트림을 처리하고 여러 사용자에게 전달하도록 설계 되었습니다. - 카프카는 Pub/Sub 모델(구조)를 따릅니다. pub/sub 모델(구조, 패턴)이란 발행 - 구독 모델로 발행자(Publisher)가 ..