이번 포스팅을 통해서 컨슈머 그룹에 관해서 알아보겠습니다. 일반적으로 컨슈머는 카프카 토픽에서 메시지를 읽어오는 역할을 합니다. 컨슈머 그룹은 하나의 토픽에서 여러 컨슈머 그룹이 동시에 접속해 메시지를 가져올 수 있습니다. 이것은 기존의 다른 메시징 큐 솔루션에서 컨슈머가 메시지를 가져가면 큐에서 삭제되어 다른 컨슈머가 가져갈 수 없는 것과는 다른 방식인데 이 방식이 좋은 이유는 하나의 데이터를 다양한 용도로 사용하는 요구가 많아졌기 때문입니다. 또한 만약 프로듀서가 토픽에 보내는 메시지 속도가 갑자기 증가해 컨슈머가 메시지를 가져가는 속도보다 빨리지게 되면 처리하지 못한 메시지들이 많아지게 되어 프로듀서가 생성하는 시간과 컨슈머가 이 메시지를 처리하는 시간의 간격이 점점 벌어지게 됩니다. 이 시간차를 ..
이번 포스팅을 통해서 컨슈머(Consumer)의 파티션과 메시지 순서에 대해 알아보겠습니다. 파티션 3개로 구성 일단 파티션과 메시지 순서 메커니즘을 알아보기 위해 생성한 포틱에 파티션 수가 3이고 리플리케이션 팩터 옵션은 1로 설정 후 메시지를 전송해보겠습니다. ## 토픽 생성 명령어 /user/local/kafka/bin/kafka-topics.sh \ --zookeepeer peter-zk001:2181,peter-zk002:2181,peter-zk003:2181/peter-kafka \ --topic peter-01 \ --partitions 3 \ --replication-factor 1 \ --create 토픽을 생성 후 a부터 순서대로 입력해보겠습니다. ## 프로듀서 콘솔 명령어 /usr/l..
이번 포스팅을 통해서 컨슈머(Consumer)에 대해 알아보겠습니다. 여기서 컨슈머는 토픽의 메시지를 가져와서 소비(consume)하는 역할을 하는 애플리케이션, 서버 등을 지칭하여 컨슈머라 일컫습니다. 이 컨슈머의 주요 기능은 특정 파티션을 관리하고 있는 파티션 리더에게 메시지를 가져오기 요청하는 것 입니다. 각 요청은 로그의 오프셋을 명시하고 그 위치로부터 로그 메시지를 수신합니다. 그래서 컨슈머는 가져올 메시지의 위치를 조정할 수 있고, 필요하다면 이미 가져온 데이터도 다시 가져올 수 있습니다. 이렇게 이미 가져온 메시지를 다시 가져올 수 있는 기능은 래빗엠큐(RabbitMQ)와 같은 일반적인 메시지큐 솔류션에서는 제공하지 않는 기능입니다. 하지만 최근에는 메시지큐 솔루션 사용자들에게 이러한 기능이..
