오프셋

BigData

[Apache Kafka] 카프카 컨슈머(Consumer)의 파티션과 메시지 순서를 알아보자 [2]

이번 포스팅을 통해서 컨슈머(Consumer)의 파티션과 메시지 순서에 대해 알아보겠습니다. 파티션 3개로 구성 일단 파티션과 메시지 순서 메커니즘을 알아보기 위해 생성한 포틱에 파티션 수가 3이고 리플리케이션 팩터 옵션은 1로 설정 후 메시지를 전송해보겠습니다. ## 토픽 생성 명령어 /user/local/kafka/bin/kafka-topics.sh \ --zookeepeer peter-zk001:2181,peter-zk002:2181,peter-zk003:2181/peter-kafka \ --topic peter-01 \ --partitions 3 \ --replication-factor 1 \ --create 토픽을 생성 후 a부터 순서대로 입력해보겠습니다. ## 프로듀서 콘솔 명령어 /usr/l..

BigData

[Apache Kafka] 카프카(KAFKA) 데이터 모델을 알아보자

해당 글의 모든 레퍼런스는 "카프카, 데이터 플랫폼의 최강자" (고승범, 공용준 지음)을 알립니다. https://coupa.ng/b5xV58 카프카 데이터 플랫폼의 최강자:실시간 비동기 스트리밍 솔루션 Kafka의 기본부터 확장 응용까지 COUPANG www.coupang.com "이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다." 카프카가 고성능, 고가용성 메시징 애플리케이션으로 발전한 데는 토픽과 파티션이라는 데이터 모델의 역할이 있기 때문입니다. 토픽은 메시지를 받을 수 있도록 논리적으로 묶은 개념이고, 파티션은 토픽을 구성하는 데이터 저장소로서 수평 확장이 가능한 단위입니다. 🏓 토픽 (Topic) 토픽은 메시지를 받을 수 있도록 논리적으로 묶은 개념이며 예..

busybeans
'오프셋' 태그의 글 목록