BigData
[Apache Kafka] 카프카 컨슈머 그룹(Consumer group)을 알아보자 [3]
이번 포스팅을 통해서 컨슈머 그룹에 관해서 알아보겠습니다. 일반적으로 컨슈머는 카프카 토픽에서 메시지를 읽어오는 역할을 합니다. 컨슈머 그룹은 하나의 토픽에서 여러 컨슈머 그룹이 동시에 접속해 메시지를 가져올 수 있습니다. 이것은 기존의 다른 메시징 큐 솔루션에서 컨슈머가 메시지를 가져가면 큐에서 삭제되어 다른 컨슈머가 가져갈 수 없는 것과는 다른 방식인데 이 방식이 좋은 이유는 하나의 데이터를 다양한 용도로 사용하는 요구가 많아졌기 때문입니다. 또한 만약 프로듀서가 토픽에 보내는 메시지 속도가 갑자기 증가해 컨슈머가 메시지를 가져가는 속도보다 빨리지게 되면 처리하지 못한 메시지들이 많아지게 되어 프로듀서가 생성하는 시간과 컨슈머가 이 메시지를 처리하는 시간의 간격이 점점 벌어지게 됩니다. 이 시간차를 ..
