1. Introduction 메시징 시스템은 서로 다른 애플리케이션, 시스템 또는 구성 요소 간의 통신을 가능하게 하는 소프트웨어 또는 인프라 유형입니다. 메시징 시스템은 종종 비동기 방식으로 발신자와 수신자 간에 메시지를 교환하기 위한 메커니즘을 제공하여 응용 프로그램이 서로 긴밀하게 연결되지 않고 통신할 수 있도록 합니다. 2. 주요 구성요소 메시징 시스템의 주요 구성 요소는 다음과 같습니다. 메시지 브로커: 메시지 브로커는 메시징 시스템의 핵심 구성 요소입니다. 생산자로부터 메시지를 받아 적절한 소비자 또는 가입자에게 라우팅합니다. 메시지 생산자: 메시지 생산자는 메시지를 메시지 브로커에게 보내는 애플리케이션 또는 시스템입니다. 메시지 소비자: 메시지 소비자는 메시지 브로커로부터 메시지를 받는 애플..
1. introduction 메시지 브로커는 비동기 메시징을 위한 메커니즘을 제공하여 분산 시스템 또는 애플리케이션 간의 통신을 용이하게 하는 중개 소프트웨어입니다. 메시지 브로커를 사용하면 시스템이 비동기식으로 메시지를 주고받을 수 있어 발신자와 수신자를 서로 분리하고 확장 가능하고 안정적인 데이터 교환 방법을 제공할 수 있습니다. 메시지 브로커는 발신자와 수신자 사이에서 중개자 역할을 하며 발신자로부터 메시지를 받아 적절한 수신자에게 라우팅합니다. 또한 브로커는 메시지 큐잉, 메시지 지속성, 메시지 변환, 부하 분산 등의 기능을 제공할 수 있습니다. 다음과 같은 몇 가지 인기 있는 메시지 브로커를 사용할 수 있습니다. Apache Kafka: 대용량 데이터 스트림을 처리할 수 있고 실시간 데이터 처리..
1. Spark에서 Shuffle에 대해서 Apache Spark에서 셔플 작업은 일반적으로 데이터 그룹화 또는 집계와 같은 후속 처리 단계를 준비하기 위해 클러스터의 노드 전체에 데이터를 재분배하는 데 사용됩니다. 여기에는 데이터를 더 작은 청크로 분할하고, 네트워크 전체에서 데이터를 섞은 다음, 데이터를 새로운 청크 집합으로 다시 분할하는 작업이 포함됩니다. 셔플 작업은 Spark에서 가장 비용이 많이 드는 작업 중 하나이며 성능에 상당한 영향을 미칠 수 있습니다. Apache Spark에는 두 가지 주요 유형의 셔플이 있습니다: Map-side 셔플: 이것은 네트워크를 통해 데이터를 전송하기 전에 단일 노드 내에서 데이터를 셔플 하는 것을 포함합니다. 이는 특히 데이터가 이미 분할되어 있거나 데이터..
1. Intorduction 클러스터 관리자의 목적은 논리적 코드를 실제 실행할 수 있도록 물리적 자원을 할당하는 것이다. 물리적 자원 할당에는 다양한 방식이 있지만, 클러스터 관리자는 단일 머신상에서의 운영 시스템을 일반화한 것이며, 단일 머신상의 문제와 동일한 수많은 문제를 해결해야 한다. 운영 시스템의 핵삼 개념을 이해한다면 클러스터 관리자 툴의 필요에 흥미를 느끼게 될 것이다. 왜냐하면, 결국 동일한 개념이 분산 생태계에서 다양한 방식으로 구현된 것 이기 때문이다. 단일 머신에서 운영 시스템(OS)의 역할은 해당 머신의 물리적 하드웨어와 이 하드웨어상에서 실행되는 소프트웨어 사이의 인터페이스라고 정의할 수 있다. 이 인터페이스는 의사 소통을 위한 언어의 정의, 태스크와 프로세스들의 스케줄링, 이들..
