producer

BigData

[Apache Kafka] 카프카 프로듀서(Producer)를 알아보자 [2]

이번 포스팅을 통해서 프로듀서의 옵션 중 acks 옵션을 어떻게 설정하는지에 따라서 카프카로 메시지를 전송할 때 메시지 손실 여부와 메시지 전송 속도 및 처리량 등이 달라지는지 자세히 살펴보겠습니다. 1. 메시지 손실 가능성 🔺 전송 속도 🔺 메시지를 전송할 때 프로듀서는 카프카 서버에서 응답을 기다리지 않고, 메시지를 보낼 준비가 되는 즉시 다음 요청을 보냅니다. 다시 말해, 카프카로부터 응답을 기다리지 않고 프로듀서만 준비되면 즉시 보내기 때문에 매우 빠르게 메시지를 보낼 수 있습니다. 하지만 이런 방법은 프로듀서가 카프카로부터 자신이 보낸 메시지에 대해 응답을 기다리지 않기 때문에 메시지가 손실될 수 있습니다. 메시지 손실 가능성이 있지만 빠른 전송 속도를 보여주는 옵션은 acks=0 입니다. 해당..

BigData

[Apache Kafka] 카프카 프로듀서(Producer)를 알아보자 [1]

이번 포스팅을 통해서 카프카의 토픽으로 메시지를 보내는 역할을 하는 프로듀서(Producer)의 동작 방식을 알아보고 주요 옵션에는 무엇이 있는지를 살펴보겠습니다. 프로듀서의 주요 기능은 각각의 메시지를 토픽 파티션에 매핑하고 파티션의 리더에 요청을 보내는 것입니다. 키 값을 정해 해당 키를 가진 모든 메시지를 동일한 파티션으로 전송할 수 있습니다. 만약 키 값을 입력하지 않으면, 파티션은 라운드 로빈(round-robin) 방식으로 파티션에 균등하게 분배합니다. 🍔 프로듀서의 주요 명령어 [토픽을 생성하는 명령어] 명령어의 위치는 카프카 설치 경로인 (usr/local/kafka) 의 하위 디렉토리인 bin 디렉토리이고, 명령어는 kafka-topics.sh입니다. option --zookeeper :..

busybeans
'producer' 태그의 글 목록