1. 들어가며 카프카(Kafka)는 대규모 실시간 데이터 파이프라인 및 스트리밍 애플리케이션을 구축하는 데 사용되는 오픈 소스 분산 이벤트 스트리밍 플랫폼입니다. 카프카를 사용하기 위해서는 토픽, 파티션, 프로듀서, 컨슈머 등 시스템의 여러 구성 요소를 관리하기 위한 다양한 명령어를 사용해야 합니다. 이번 블로그 포스트에서는 카프카 클러스터에서 다양한 작업을 수행하기 위해 사용할 수 있는 카프카 명령어 모음을 제공하겠습니다. 2. 카프카 브로커(Broker) 명령어 카프카 브로커는 데이터의 저장 및 복제를 관리하는 카프카 클러스터의 핵심 구성 요소입니다. 다음 명령어를 사용하여 카프카 브로커를 관리할 수 있습니다. 2-1. 카프카 브로커 시작하기: 카프카 브로커를 시작하려면 다음 명령어를 사용합니다. b..
클러스터 구성을 할 수 있는 분산 애플리케이션의 한 종류인 카프카(Kafka)는 클러스터를 구성하는 서버 대수를 정해야 합니다. 주키퍼와 분산 애플리케이션 면에서는 동일하지만 클러스터가 운영되는 방식은 다릅니다. 과반 수 방식으로 운영되어 홀수로 서버를 구성해야 하는 주키퍼와 다르게, 카프카 클러스터는 홀수 운영 구성을 하지 않아도 됩니다. 본 포스트에서는 카프카 클러스터의 브로커 수를 3대로 구성하겠습니다. 간혹 카프카와 주키퍼를 동일한 서버에 같이 오려려서 운영하는 분들도 있는 소규모 환경이라면 괜찮을 수도 있겠지만 대규모로 카프카를 운영하는 환경에서는 좋은 방법이 아닙니다. 설치 환경 Ubuntu 18.04.5 LTS 카프카 다운로드 카프카 최신 버전 다운로드를 위해서 아파치 카프카 페이지로 이동 ..
1. introduction 메시지 브로커는 비동기 메시징을 위한 메커니즘을 제공하여 분산 시스템 또는 애플리케이션 간의 통신을 용이하게 하는 중개 소프트웨어입니다. 메시지 브로커를 사용하면 시스템이 비동기식으로 메시지를 주고받을 수 있어 발신자와 수신자를 서로 분리하고 확장 가능하고 안정적인 데이터 교환 방법을 제공할 수 있습니다. 메시지 브로커는 발신자와 수신자 사이에서 중개자 역할을 하며 발신자로부터 메시지를 받아 적절한 수신자에게 라우팅합니다. 또한 브로커는 메시지 큐잉, 메시지 지속성, 메시지 변환, 부하 분산 등의 기능을 제공할 수 있습니다. 다음과 같은 몇 가지 인기 있는 메시지 브로커를 사용할 수 있습니다. Apache Kafka: 대용량 데이터 스트림을 처리할 수 있고 실시간 데이터 처리..
시작하며... 🚀 이번에는 4개의 성능 목표 중 첫 번째로 Latency에 대해서 어떤 파라미터를 튜닝하는지 알아보겠습니다. 프로듀서와 컨슈머의 option 중 어떤 option이 Throughput에 영향을 주는지 알아보며 어떻게 이 옵션의 파라미터가 영향을 주며, 어떻게 설정해야 하는지를 보도록 하겠습니다. Latency : 지연 시간으로 불리우며, 카프카가 얼마나 빠르게 하나의 메시지를 빠르게 전달하는지의 메트릭이다. 1. Broker를 통한 Latency 최적화 🚀🚀 Partition 개수 제한 Latency을 줄이기 위해서는 파티션의 개수를 줄이는 방법이 존재합니다. 파티션의 수가 많으면 많을수록 메시지의 Latency를 유발하게 되는데, 파티션에 복사를 위한 시간만큼 Latency가 발생되기 ..
