kafka consumer

BigData

[Apache Kafka] 카프카 컨슈머(Consumer)의 파티션과 메시지 순서를 알아보자 [2]

이번 포스팅을 통해서 컨슈머(Consumer)의 파티션과 메시지 순서에 대해 알아보겠습니다. 파티션 3개로 구성 일단 파티션과 메시지 순서 메커니즘을 알아보기 위해 생성한 포틱에 파티션 수가 3이고 리플리케이션 팩터 옵션은 1로 설정 후 메시지를 전송해보겠습니다. ## 토픽 생성 명령어 /user/local/kafka/bin/kafka-topics.sh \ --zookeepeer peter-zk001:2181,peter-zk002:2181,peter-zk003:2181/peter-kafka \ --topic peter-01 \ --partitions 3 \ --replication-factor 1 \ --create 토픽을 생성 후 a부터 순서대로 입력해보겠습니다. ## 프로듀서 콘솔 명령어 /usr/l..

BigData

[Apache Kafka] 카프카 컨슈머(Consumer)를 알아보자 [1]

이번 포스팅을 통해서 컨슈머(Consumer)에 대해 알아보겠습니다. 여기서 컨슈머는 토픽의 메시지를 가져와서 소비(consume)하는 역할을 하는 애플리케이션, 서버 등을 지칭하여 컨슈머라 일컫습니다. 이 컨슈머의 주요 기능은 특정 파티션을 관리하고 있는 파티션 리더에게 메시지를 가져오기 요청하는 것 입니다. 각 요청은 로그의 오프셋을 명시하고 그 위치로부터 로그 메시지를 수신합니다. 그래서 컨슈머는 가져올 메시지의 위치를 조정할 수 있고, 필요하다면 이미 가져온 데이터도 다시 가져올 수 있습니다. 이렇게 이미 가져온 메시지를 다시 가져올 수 있는 기능은 래빗엠큐(RabbitMQ)와 같은 일반적인 메시지큐 솔류션에서는 제공하지 않는 기능입니다. 하지만 최근에는 메시지큐 솔루션 사용자들에게 이러한 기능이..

busybeans
'kafka consumer' 태그의 글 목록