이번장에서는 카프카 스트림즈 API(Streams API)에 대해서 알아보겠습니다. 카프카는 대규모 메시지를 저장하고 빠르게 처리하기 위해 만들어진 플랫폼입니다. 처음에는 메시지를 다른 프로세스나 애플리케이션에 전달하기 위해 사용되었지만, 카프카의 강력한 성능으로 인해 연속된 메시지인 스트림을 처리하는 데도 점차 사용되기 시작했습니다. 카프카 스트림즈 API를 이용하면 스파크(Spark)나 스톰(Storm)과 같은 별도의 스트리밍 엔진을 사용하지 않고도 간단하게 실시간 분석을 수행할 수 있습니다. 스트림즈를 본격적으로 알아보기전에 스트림 프로세싱과 배치 프로세싱에 대해 알아보겠습니다. 스트림 프로세싱, 배치 프로세싱 스트림 프로세싱(Stream Processing)은 데이터들이 지속적으로 유입되고 나가는..
이번 포스팅을 통해서 컨슈머 그룹에 관해서 알아보겠습니다. 일반적으로 컨슈머는 카프카 토픽에서 메시지를 읽어오는 역할을 합니다. 컨슈머 그룹은 하나의 토픽에서 여러 컨슈머 그룹이 동시에 접속해 메시지를 가져올 수 있습니다. 이것은 기존의 다른 메시징 큐 솔루션에서 컨슈머가 메시지를 가져가면 큐에서 삭제되어 다른 컨슈머가 가져갈 수 없는 것과는 다른 방식인데 이 방식이 좋은 이유는 하나의 데이터를 다양한 용도로 사용하는 요구가 많아졌기 때문입니다. 또한 만약 프로듀서가 토픽에 보내는 메시지 속도가 갑자기 증가해 컨슈머가 메시지를 가져가는 속도보다 빨리지게 되면 처리하지 못한 메시지들이 많아지게 되어 프로듀서가 생성하는 시간과 컨슈머가 이 메시지를 처리하는 시간의 간격이 점점 벌어지게 됩니다. 이 시간차를 ..
이번 포스팅을 통해서 컨슈머(Consumer)의 파티션과 메시지 순서에 대해 알아보겠습니다. 파티션 3개로 구성 일단 파티션과 메시지 순서 메커니즘을 알아보기 위해 생성한 포틱에 파티션 수가 3이고 리플리케이션 팩터 옵션은 1로 설정 후 메시지를 전송해보겠습니다. ## 토픽 생성 명령어 /user/local/kafka/bin/kafka-topics.sh \ --zookeepeer peter-zk001:2181,peter-zk002:2181,peter-zk003:2181/peter-kafka \ --topic peter-01 \ --partitions 3 \ --replication-factor 1 \ --create 토픽을 생성 후 a부터 순서대로 입력해보겠습니다. ## 프로듀서 콘솔 명령어 /usr/l..
이번 포스팅을 통해서 컨슈머(Consumer)에 대해 알아보겠습니다. 여기서 컨슈머는 토픽의 메시지를 가져와서 소비(consume)하는 역할을 하는 애플리케이션, 서버 등을 지칭하여 컨슈머라 일컫습니다. 이 컨슈머의 주요 기능은 특정 파티션을 관리하고 있는 파티션 리더에게 메시지를 가져오기 요청하는 것 입니다. 각 요청은 로그의 오프셋을 명시하고 그 위치로부터 로그 메시지를 수신합니다. 그래서 컨슈머는 가져올 메시지의 위치를 조정할 수 있고, 필요하다면 이미 가져온 데이터도 다시 가져올 수 있습니다. 이렇게 이미 가져온 메시지를 다시 가져올 수 있는 기능은 래빗엠큐(RabbitMQ)와 같은 일반적인 메시지큐 솔류션에서는 제공하지 않는 기능입니다. 하지만 최근에는 메시지큐 솔루션 사용자들에게 이러한 기능이..
