이번장에서는 카프카 스트림즈 API(Streams API)에 대해서 알아보겠습니다. 카프카는 대규모 메시지를 저장하고 빠르게 처리하기 위해 만들어진 플랫폼입니다. 처음에는 메시지를 다른 프로세스나 애플리케이션에 전달하기 위해 사용되었지만, 카프카의 강력한 성능으로 인해 연속된 메시지인 스트림을 처리하는 데도 점차 사용되기 시작했습니다. 카프카 스트림즈 API를 이용하면 스파크(Spark)나 스톰(Storm)과 같은 별도의 스트리밍 엔진을 사용하지 않고도 간단하게 실시간 분석을 수행할 수 있습니다. 스트림즈를 본격적으로 알아보기전에 스트림 프로세싱과 배치 프로세싱에 대해 알아보겠습니다. 스트림 프로세싱, 배치 프로세싱 스트림 프로세싱(Stream Processing)은 데이터들이 지속적으로 유입되고 나가는..
해당 글의 모든 레퍼런스는 "카프카, 데이터 플랫폼의 최강자" (고승범, 공용준 지음) 을 알립니다. https://coupa.ng/b5xV58 카프카 데이터 플랫폼의 최강자:실시간 비동기 스트리밍 솔루션 Kafka의 기본부터 확장 응용까지 COUPANG www.coupang.com "이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다." 카프카는 기존의 메시징 시스템과는 차별화되는 특징이 있습니다. 크게 5개 정도로 정리 할 수 있습니다. 프로듀서와 컨슈머의 분리 멀티 프로듀서, 멀티 컨슈머 디시크에 메시지 저장 확장성 높은 성능 이제 크게 5개 정도로 정리된 차별화된 특징을 알아 보겠습니다. 프로듀서와 컨슈머의 분리 기존의 메시징 시스템들은 Pub/Sub 모델이 아닌..
해당 글의 모든 레퍼런스는 "카프카, 데이터 플랫폼의 최강자" (고승범, 공용준 지음)을 알립니다. https://coupa.ng/b5xV58 카프카 데이터 플랫폼의 최강자:실시간 비동기 스트리밍 솔루션 Kafka의 기본부터 확장 응용까지 COUPANG www.coupang.com "이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다." 카프카는 메시징 서버로 동작합니다. 여기서 메시징 시스템을 알아보겠습니다. 메시징 시스템은 메시지라고 불리는 데이터 단위를 퍼블리셔(pubilsher), 프로듀서(producer)에서 카프카에 토픽(topic)이라는 각각의 메시지 저장소에 데이터를 저장하면, 서브스크라이버(subscriber), 컨슈머(comsumer)가 원하는 토픽에서..
해당 글의 모든 레퍼런스는 "카프카, 데이터 플랫폼의 최강자" (고승범, 공용준 지음) 을 알립니다. https://coupa.ng/b5xV58 카프카 데이터 플랫폼의 최강자:실시간 비동기 스트리밍 솔루션 Kafka의 기본부터 확장 응용까지 COUPANG www.coupang.com "이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다." 아파치 카프카(Apache Kafka)는 미국의 대표적인 비즈니스 인맥 소셜네트워크 서비스인 링크드인(linkedin)에서 처음 출발한 기술로, 제이 크랩스(Jay Kreps), 니하 나케디(Neha Narkhede), 준 라오(Jun Rao) 와 함께 팀을 구성하여 모든 시스템으로 데이터를 전송할 수 있고, 실시간 처리도 가능하며, ..
