티스토리

Log level : info

검색하기

블로그 홈

Log level : info

firststep-de.tistory.com/m

busybeans 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

[Apache Kafka] 내가 보기 위해 만든 Kafka 명령어 모음 1. 들어가며 카프카(Kafka)는 대규모 실시간 데이터 파이프라인 및 스트리밍 애플리케이션을 구축하는 데 사용되는 오픈 소스 분산 이벤트 스트리밍 플랫폼입니다. 카프카를 사용하기 위해서는 토픽, 파티션, 프로듀서, 컨슈머 등 시스템의 여러 구성 요소를 관리하기 위한 다양한 명령어를 사용해야 합니다. 이번 블로그 포스트에서는 카프카 클러스터에서 다양한 작업을 수행하기 위해 사용할 수 있는 카프카 명령어 모음을 제공하겠습니다. 2. 카프카 브로커(Broker) 명령어 카프카 브로커는 데이터의 저장 및 복제를 관리하는 카프카 클러스터의 핵심 구성 요소입니다. 다음 명령어를 사용하여 카프카 브로커를 관리할 수 있습니다. 2-1. 카프카 브로커 시작하기: 카프카 브로커를 시작하려면 다음 명령어를 사용합니다. b.. 공감수 2 댓글수 0 2023. 4. 20.
[Apache Spark] 스파크(spark)의 운영과정에서 만난 disk 오류에 대하여 1. 들어가며 Apache Spark를 활용해 여러 애플리케이션을 만들어보는 경험을 하고 있는 현재, 여러 오류를 마주하고 해결하는 과정의 연속이라 기록용도로 작성해보고자 합니다. 이번 포스팅에서는 Apache Spark를 활용하는 데 있어서 발생될 수 있는 오류 중 disk 가 가득 찬 경우입니다. 2. 원인 분석 우선 일단 Apache Spark의 Strucutred streaming을 활용할 때 누적되어 저장되게 되는 데이터를 알아봅시다. 2-1. logs file 문제? 첫 번째로, spark의 logs 파일입니다. Spark는 자체 로깅을 위한 표준 라이브러리로 log4 j 사용합니다. Spark 내부에서 발생하는 모든 일은 셸 콘솔과 구성된 기본 저장소에 기록됩니다. Spark는 또한 앱 작성.. 공감수 0 댓글수 0 2023. 4. 5.
[Docker] 도커(Docker)에 대하여 [1] 1. 시작하며 도커(docker)는 리눅스 컨테이너에 여러 기능을 추가함으로써 애플리케이션을 컨테이너로서 좀 더 쉽게 사용할 수 있게 만들어진 오픈소스 프로잭트입니다. 기존에 쓰이던 가상화 방법인 가상 머신과 달리 도커 컨테이너 성능의 손실이 거의 없어서 차세대 클라우드 인프라 솔루션으로서 많은 개발자들에게 주목받고 있습니다. 2. 가상 머신과 도커 컨테이너 기존의 가상화 기술은 하이퍼바이저를 이용해 여러 개의 운영체제를 하나의 호스트에서 생성해 사용하는 방식입니다.. 하이퍼바이저에 의해 생성되고 관리되는 운영체제는 게스트 운영체제라고 하며, 각 게스트 운영체제는 다른 게스트 운영체제와 완전히 독립적인 공간과 시스템 자원을 할당받습니다. 하이퍼바이저는 호스트 컴퓨터에서 다수의 운영 체제(operating.. 공감수 3 댓글수 0 2023. 4. 4.
[Apache Kafka] 주키퍼(zookeeper) 설치에 대하여 2023.04.04 - [BigData] - [Apache Kafka] 카프카(Kafka) 설치에 대하여 분산 애플리케이션을 사용하게 되면, 분산 애플리에이션 관리를 위한 안정적인 코디네이션 애플리케이션이 추가로 필요로 하게 됩니다. 주키퍼(zookeeper)는 본래 하둡의 서브 프로젝트 중 하나였습니다. 대용량 분산 처리 애플리케이션인 하둡은 중앙에서 분산 애플리케이션을 관리하는 코디네이션 애플리케이션이 필요했기에 서브 프로젝트로서 주키퍼 개발 작업을 진행했습니다. 카프카는 분산 애플리케이션의 한 종류로서 주키퍼를 코디네이션 로직으로 이용하고 있습니다. 주키퍼는 분산 애플리케이션을 위한 코디네이션 시스템입니다. 분산 애플리케이션이 안정적인 서비스를 할 수 있도록 분산되어 있는 각 애플리케이션의 정보를 .. 공감수 3 댓글수 0 2023. 4. 4.
[Apache Kafka] 카프카(Kafka) 설치에 대하여 클러스터 구성을 할 수 있는 분산 애플리케이션의 한 종류인 카프카(Kafka)는 클러스터를 구성하는 서버 대수를 정해야 합니다. 주키퍼와 분산 애플리케이션 면에서는 동일하지만 클러스터가 운영되는 방식은 다릅니다. 과반 수 방식으로 운영되어 홀수로 서버를 구성해야 하는 주키퍼와 다르게, 카프카 클러스터는 홀수 운영 구성을 하지 않아도 됩니다. 본 포스트에서는 카프카 클러스터의 브로커 수를 3대로 구성하겠습니다. 간혹 카프카와 주키퍼를 동일한 서버에 같이 오려려서 운영하는 분들도 있는 소규모 환경이라면 괜찮을 수도 있겠지만 대규모로 카프카를 운영하는 환경에서는 좋은 방법이 아닙니다. 설치 환경 Ubuntu 18.04.5 LTS 카프카 다운로드 카프카 최신 버전 다운로드를 위해서 아파치 카프카 페이지로 이동 .. 공감수 1 댓글수 0 2023. 4. 4.
[Database fundamentals] 데이터베이스 트랜잭션(Transactions) 정리 1. 트랜잭션(Transactions) 의 특성 원자성 (Atomicity) 이체 과정 중에 트랜잭션이 실패하게 되어 예금이 사라지는 경우가 발생해서는 안 되기 때문에 DBMS는 완료되지 않은 트랜잭션의 중간 상태를 데이터베이스에 반영해서는 안 된다. 즉, 트랜잭션의 모든 연산들이 정상적으로 수행 완료되거나 아니면 전혀 어떠한 연산도 수행되지 않은 상태를 보장해야 한다. atomicity는 쉽게 'all or nothing' 특성으로 설명된다 트랜잭션의 연산은 데이터베이스에 모두 반영되든지 아니면 전혀 반영되지 않아야 한다. 2. 트랜잭션 내의 모든 명령은 반드시 완벽히 수행되어야 하며, 모두가 완벽히 수행되지 않고 어느 하나라도 오류가 발생하면 트랜잭션 전부가 취소되어야 한다. 일관성 (Consiste.. 공감수 2 댓글수 0 2023. 4. 1.
[Database fundamentals] 데이터베이스 트랜잭션(Transactions)에 대하여 1. 들어가며 데이터베이스 영역에서 트랜잭션은 데이터의 일관성과 신뢰성을 보장하는 데 중요한 역할을 합니다. 트랜잭션은 단일 작업 단위로 수행되어야 하는 데이터베이스 작업 집합입니다. 트랜잭션을 통해 데이터베이스 시스템은 데이터 무결성 및 안정성에 필수적인 데이터의 원자성(Atomicity), 일관성(Consistency), 독립성(Isolation), 영구성(Durability)을 보장할 수 있습니다. 먼저 데이터베이스 트랜잭션을 정의하고 데이터 일관성과 안정성을 보장하는 데 있어 트랜잭션의 중요성을 논의합니다. 그런 다음 원자성(Atomicity), 일관성(Consistency), 독립성(Isolation), 영구성(Durability)을 포함한 트랜잭션의 속성과 ACID 준수에 기여하는 방식을 검토.. 공감수 2 댓글수 0 2023. 4. 1.
[DataBase fundamentals] 데이터베이스 함수 종속성(Functional Dependency)에 대하여 1. 들어가며 데이터베이스는 최신 정보 시스템의 기본 구성 요소이며, 데이터베이스의 설계 및 관리는 데이터베이스가 저장하는 데이터의 정확성, 일관성 및 신뢰성을 보장하는 데 중요한 역할을 합니다. 데이터베이스 설계의 주요 개념 중 하나는 데이터베이스 테이블의 속성 간의 관계를 설명하는 함수 종속성입니다. 함수 종속성은 데이터베이스에서 데이터 무결성을 보장하고 데이터 중복성을 줄이는 데 중요한 역할을 합니다. 함수 종속성은 데이터베이스 테이블의 속성 간의 관계를 제어하는 규칙 세트입니다. 한 속성의 값이 동일한 테이블에서 다른 속성의 값을 결정하는 방법을 설명합니다. 예를 들어, 고객 테이블에서 고객의 이메일 주소는 고유한 고객 ID에 따라 달라질 수 있습니다. 고객 ID가 변경되면 데이터 무결성을 유지하.. 공감수 3 댓글수 0 2023. 4. 1.
[DataBase fundamentals] 데이터베이스 이상현상(Anomaly)에 대하여 1. 들어가며 데이터베이스 이상 현상은 데이터베이스의 데이터가 예상대로 작동하지 않아 종종 오류와 불일치가 발생하는 상황을 말합니다 정규화가 없으면 통합 relation 모델을 DBMS(DataBase Management System)에 로드하려고 할 때 많은 문제가 발생할 수 있습니다. 이러한 문제를 Data Anomaly라고 하며, 이런 문제가 없도록 정규화하는 과정이 필요합니다. 정규화(Normalization)는 사용자가 데이터베이스를 도입하지 않고도 튜플을 삽입, 삭제 및 업데이트할 수 있도록 관계를 잘 구조화된 관계로 분할하는 프로세스입니다. 총 4가지의 Data Anomaly가 있는데 정리해 보록 하겠습니다. 2. Redundancy re·dun·dancy 1. (인력 과잉에 따른) 정리 해.. 공감수 2 댓글수 0 2023. 4. 1.
Apache Kafka Consumer group 활용에 대하여 Abstract: Apache Kafka는 최신 애플리케이션에서 실시간 데이터 스트리밍에 널리 사용되는 분산 메시징 시스템입니다. 높은 확장성, 내결함성 및 낮은 대기 시간을 제공하여 실시간 애플리케이션 구축에 이상적입니다. Apache Kafka Consumer 그룹은 Kafka 주제의 데이터를 병렬 처리할 수 있게 해주는 핵심 기능입니다. 이 논문은 Apache Kafka Consumer 그룹, 아키텍처 및 실시간 애플리케이션 구축에 효과적으로 사용될 수 있는 방법에 대한 포괄적인 연구를 제공하는 것을 목표로 합니다. Introduction: 대량의 데이터를 실시간으로 처리하는 기능은 많은 최신 애플리케이션에 매우 중요합니다. 분산 메시징 시스템인 Apache Kafka는 실시간 데이터 스트리밍을 위.. 공감수 0 댓글수 0 2023. 3. 25.
VirusTotla API version 3 사용하기 1. 들어가며 : 이제 API 버전 3이 VirusTotal과 프로그래밍 방식으로 상호 작용하는 기본 및 권장 방법입니다. 이 버전은 API 버전 2를 크게 개선하며, 당분간 더 이상 사용되지 않습니다. 이 새로운 API는 사용 편의성과 통일성을 염두에 두고 설계되었으며 (http://jsonapi.org/) 사양에서 영감을 얻었습니다. 이 API는 REST 원칙을 따르며 예측 가능한 리소스 지향 URL을 사용합니다. 오류를 포함한 요청과 응답에 JSON을 사용합니다. 이전 API 엔드포인트는 계속 사용할 수 있으며 더 이상 사용되지 않지만, 워크로드를 이 새 버전으로 마이그레이션하는 것이 좋습니다. 다음과 같은 측면에서 훨씬 더 풍부한 데이터가 노출됩니다: IoC relationships, sandbo.. 공감수 0 댓글수 0 2023. 3. 7.
VirusTotal 에 대하여 1. 들어가며: 디지털화 시대에 사이버 위협이 기하급수적으로 증가하면서 개인과 조직의 디지털 자산을 보호하는 것은 어려운 과제가 되었습니다. 사이버 공격이 증가함에 따라 맬웨어(malware)는 사이버 보안 환경에서 중요한 문제 중 하나가 되었습니다. 맬웨어(malware)는 컴퓨터 시스템이나 네트워크에 침투, 손상 또는 방해하도록 설계된 모든 악성 소프트웨어로 정의할 수 있습니다. 맬웨어(malware)가 점점 더 정교해짐에 따라 이를 감지하고 방지하는 것이 어려워졌습니다. 이러한 문제에 대응하여 맬웨어 탐지 및 분석을 돕는 무료 온라인 서비스인 VirusTotal이 개발되었습니다. 2. VirusTotal: VirusTotal은 사용자가 다음을 수행할 수 있는 무료 온라인 서비스입니다. 파일 및 UR.. 공감수 0 댓글수 0 2023. 3. 7.
VirusTotal API을 통한 로컬 파일 바이러스 테스트에 대하여 공감수 0 댓글수 0 2023. 3. 7.
데이터베이스의 역할과 종류들에 대하여 1. 들어가며 데이터베이스는 쉽게 액세스, 관리 및 업데이트할 수 있는 조직화된 데이터 모음입니다. 데이터베이스의 필요성은 구조화되고 효율적인 방식으로 대량의 데이터를 저장하고 관리할 필요성에서 발생합니다. 다음은 데이터베이스가 필요한 몇 가지 구체적인 이유입니다. 데이터 organization: 데이터베이스는 데이터를 구성하는 구조화된 방법을 제공합니다. 데이터를 별도의 파일에 저장하는 대신 데이터베이스는 모든 관련 데이터를 하나의 중앙 위치에 저장할 수 있습니다. 이렇게 하면 데이터를 쉽게 찾고 관리할 수 있으며 데이터 중복 또는 불일치의 위험이 줄어듭니다. 데이터 integrity: 데이터베이스는 데이터에 규칙과 제약을 적용하여 데이터 무결성을 보장합니다. 예를 들어, 데이터베이스는 숫자 필드의 숫.. 공감수 0 댓글수 0 2023. 3. 1.
Postgresql + API server 구축에 대하여 1. Introduction PostgreSQL 데이터를 전송하는 API 서버를 생성할 때 프로그래밍 언어와 프레임워크의 선택은 프로젝트의 성공에 매우 중요합니다. 다음은 각각의 장점과 단점, 추가 리소스에 대한 참조와 함께 고려해야 할 5가지 옵션입니다. 2. Python 및 Flask: Python은 데이터베이스와의 상호 작용을 광범위하게 지원하는 다재다능하고 널리 사용되는 프로그래밍 언어입니다. Flask는 웹 애플리케이션 구축을 위한 사용하기 쉬운 API를 제공하는 인기 있는 Python용 웹 프레임워크입니다. 함께 PostgreSQL 데이터를 전송하는 API 서버를 구축하기 위한 탁월한 옵션을 제공합니다. 이점에는 광범위한 라이브러리 및 확장, 대규모 개발자 커뮤니티 및 PostgreSQL에 대.. 공감수 0 댓글수 0 2023. 2. 28.
스크래핑 프레임워크에 대하여 1. Introduction: 웹 스크래핑은 웹사이트에서 데이터를 추출하기 위한 필수 도구입니다. 그러나 처음부터 웹 스크레이퍼를 구축하는 것은 어렵고 시간이 많이 걸리는 프로세스가 될 수 있습니다. 웹 스크래핑을 보다 쉽고 효율적으로 만들기 위해 여러 스크래핑 프레임워크가 개발되었습니다. 이러한 프레임워크는 사용자가 웹 스크레이퍼를 빠르고 쉽게 구축할 수 있는 도구 및 라이브러리 세트를 제공합니다. 이 포스팅은 역사, 기능 및 응용 프로그램을 포함하여 가장 인기 있는 웹 스크래핑 프레임워크에 대한 포괄적인 개요를 제공합니다. 2. Scrapy: Scrapy는 Python으로 작성된 인기 있는 웹 스크래핑 프레임워크입니다. 사용자가 웹 스크레이퍼를 빠르고 쉽게 구축할 수 있는 일련의 도구와 라이브러리를 .. 공감수 0 댓글수 0 2023. 2. 26.
스크래핑에 대해서 1. Introduction: 웹 데이터 추출이라고도 하는 웹 스크래핑은 웹 사이트에서 데이터를 추출하는 프로세스입니다. 데이터는 텍스트, 이미지, 비디오 또는 기타 형식을 포함한 모든 형식일 수 있습니다. 웹 스크래핑은 시장 조사, 경쟁 분석 및 콘텐츠 집계와 같은 다양한 애플리케이션에 필수적인 도구입니다. 이 포스팅은 웹 스크래핑의 역사, 기술, 과제 및 응용 프로그램을 포함하여 웹 스크래핑에 대한 포괄적인 개요를 제공합니다. 2. 웹 스크래핑의 역사: 웹 스크래핑은 주로 데이터 마이닝 및 정보 추출을 위해 수년 동안 사용되어 왔습니다. 인터넷 초기에는 복사-붙여넣기 작업을 사용하여 웹 스크래핑을 수동으로 수행했습니다. 웹의 데이터 양이 증가함에 따라 웹 사이트에서 데이터를 보다 효율적으로 추출하기 .. 공감수 0 댓글수 0 2023. 2. 26.
크롤링에 대해서 1. Introduction: 웹 크롤링은 다양한 웹 사이트에서 정보를 검색하고 검색하기 위해 World Wide Web을 자동으로 탐색하는 프로세스입니다. 정보는 색인화되고 저장되며 사용자에게 관련 검색 결과를 제공하는 검색 엔진을 구축하는 데 사용됩니다. 웹 크롤링 프로세스에는 크롤러가 웹 페이지를 탐색하고 다른 페이지에 대한 링크를 따라갈 수 있도록 하는 일련의 기술 및 알고리즘이 포함됩니다. 이 포스팅은 웹 크롤링의 역사, 기술, 과제 및 응용 프로그램을 포함하여 웹 크롤링에 대한 포괄적인 개요를 제공합니다. 2. 웹 크롤링의 역사: 웹 크롤링의 역사는 사용자가 웹에서 정보를 찾는 데 도움이 되도록 Archie 및 Veronica와 같은 최초의 검색 엔진이 개발되었던 초기 인터넷 시대로 거슬러 올.. 공감수 0 댓글수 0 2023. 2. 26.
크롤링과 스크레핑의 정의와 차이점 크롤링과 스크래핑은 웹 데이터 추출에 사용되는 두 가지 중요한 프로세스입니다. 이러한 용어는 종종 같은 의미로 사용되지만 실제로는 웹 데이터 추출 프로세스의 다른 부분을 나타냅니다. 웹 크롤링이란? 웹 크롤링은 데이터를 체계적으로 스캔하는 자동화된 프로세스입니다. 웹 페이지에 대한 정보를 색인화하고 저장하는 인터넷. Google, Bing, Yahoo와 같은 검색 엔진은 웹 크롤러를 사용하여 웹사이트에 대한 데이터를 수집하고 검색 색인을 구축합니다. 웹 크롤링 프로세스는 스파이더 또는 봇이라고도 하는 검색 엔진의 크롤러가 웹사이트를 만들고 그 콘텐츠를 분석합니다. 그런 다음 크롤러는 웹사이트의 링크를 따라 다른 페이지로 이동하며 크롤러가 웹사이트 및 링크된 웹사이트에서 가능한 많은 부분을 색인화할 때까지.. 공감수 0 댓글수 0 2023. 2. 26.
메시징 시스템에 대하여 1. Introduction 메시징 시스템은 서로 다른 애플리케이션, 시스템 또는 구성 요소 간의 통신을 가능하게 하는 소프트웨어 또는 인프라 유형입니다. 메시징 시스템은 종종 비동기 방식으로 발신자와 수신자 간에 메시지를 교환하기 위한 메커니즘을 제공하여 응용 프로그램이 서로 긴밀하게 연결되지 않고 통신할 수 있도록 합니다. 2. 주요 구성요소 메시징 시스템의 주요 구성 요소는 다음과 같습니다. 메시지 브로커: 메시지 브로커는 메시징 시스템의 핵심 구성 요소입니다. 생산자로부터 메시지를 받아 적절한 소비자 또는 가입자에게 라우팅합니다. 메시지 생산자: 메시지 생산자는 메시지를 메시지 브로커에게 보내는 애플리케이션 또는 시스템입니다. 메시지 소비자: 메시지 소비자는 메시지 브로커로부터 메시지를 받는 애플.. 공감수 0 댓글수 0 2023. 2. 24.
메시지 프로토콜에 대하여 1. Content 메시지 프로토콜은 시스템 또는 애플리케이션 간에 메시지가 교환되는 방식을 관리하는 일련의 규칙 또는 표준입니다. 메시지 프로토콜은 메시지의 형식, 구조 및 내용뿐만 아니라 메시지를 보내고 받고 처리하는 방법에 대한 규칙을 정의합니다. 다양한 유형의 메시지 프로토콜이 있으며 각각 특정 용도로 설계되었습니다. 사용 사례 또는 응용 프로그램. 메시지 프로토콜의 몇 가지 일반적인 예는 다음과 같습니다. SMTP(Simple Mail Transfer Protocol): SMTP는 서버 또는 클라이언트 간에 이메일 메시지를 보내는 데 사용되는 프로토콜입니다. HTTP(Hypertext Transfer Protocol): HTTP는 웹 브라우저와 웹 서버 간에 데이터를 교환하는 데 사용되는 프로토.. 공감수 0 댓글수 0 2023. 2. 24.
메시지 브로커들에 대하여 1. introduction 메시지 브로커는 비동기 메시징을 위한 메커니즘을 제공하여 분산 시스템 또는 애플리케이션 간의 통신을 용이하게 하는 중개 소프트웨어입니다. 메시지 브로커를 사용하면 시스템이 비동기식으로 메시지를 주고받을 수 있어 발신자와 수신자를 서로 분리하고 확장 가능하고 안정적인 데이터 교환 방법을 제공할 수 있습니다. 메시지 브로커는 발신자와 수신자 사이에서 중개자 역할을 하며 발신자로부터 메시지를 받아 적절한 수신자에게 라우팅합니다. 또한 브로커는 메시지 큐잉, 메시지 지속성, 메시지 변환, 부하 분산 등의 기능을 제공할 수 있습니다. 다음과 같은 몇 가지 인기 있는 메시지 브로커를 사용할 수 있습니다. Apache Kafka: 대용량 데이터 스트림을 처리할 수 있고 실시간 데이터 처리.. 공감수 0 댓글수 0 2023. 2. 24.
[Apache Spark] 스파크의 셔플(Shuffle)에 대하여 1. Spark에서 Shuffle에 대해서 Apache Spark에서 셔플 작업은 일반적으로 데이터 그룹화 또는 집계와 같은 후속 처리 단계를 준비하기 위해 클러스터의 노드 전체에 데이터를 재분배하는 데 사용됩니다. 여기에는 데이터를 더 작은 청크로 분할하고, 네트워크 전체에서 데이터를 섞은 다음, 데이터를 새로운 청크 집합으로 다시 분할하는 작업이 포함됩니다. 셔플 작업은 Spark에서 가장 비용이 많이 드는 작업 중 하나이며 성능에 상당한 영향을 미칠 수 있습니다. Apache Spark에는 두 가지 주요 유형의 셔플이 있습니다: Map-side 셔플: 이것은 네트워크를 통해 데이터를 전송하기 전에 단일 노드 내에서 데이터를 셔플 하는 것을 포함합니다. 이는 특히 데이터가 이미 분할되어 있거나 데이터.. 공감수 0 댓글수 0 2023. 2. 22.
[Apache Spark] 스파크의 클러스터 관리에 대하여 1. Intorduction 클러스터 관리자의 목적은 논리적 코드를 실제 실행할 수 있도록 물리적 자원을 할당하는 것이다. 물리적 자원 할당에는 다양한 방식이 있지만, 클러스터 관리자는 단일 머신상에서의 운영 시스템을 일반화한 것이며, 단일 머신상의 문제와 동일한 수많은 문제를 해결해야 한다. 운영 시스템의 핵삼 개념을 이해한다면 클러스터 관리자 툴의 필요에 흥미를 느끼게 될 것이다. 왜냐하면, 결국 동일한 개념이 분산 생태계에서 다양한 방식으로 구현된 것 이기 때문이다. 단일 머신에서 운영 시스템(OS)의 역할은 해당 머신의 물리적 하드웨어와 이 하드웨어상에서 실행되는 소프트웨어 사이의 인터페이스라고 정의할 수 있다. 이 인터페이스는 의사 소통을 위한 언어의 정의, 태스크와 프로세스들의 스케줄링, 이들.. 공감수 1 댓글수 0 2023. 1. 3.
Data Lake VS Data Warehouse 이번 포스팅은 Data Lake와 Warehouse의 차이점을 알아보고자 합니다. 1. Data Lake와 Data Warehouse의 정의 그러기에 앞서 일단 Data Lake와 Data Warehouse의 정의를 먼저 알아볼 필요가 있습니다. Data Lake란? 데이터 레이크는 구조화되거나 반구조화되거나 구조화되지 않은 대량의 데이터를 저장, 처리, 보호하기 위한 중앙 집중식 저장소입니다. 데이터 레이크는 데이터를 기본 형식으로 저장할 수 있으며, 크기 제한을 무시하고 다양한 데이터를 처리할 수 있습니다. 대용량 데이터는 저장되기 전에 구조화되지 않기 때문에 숙련된 데이터 과학자 또는 end-to-end self-service BI 도구 를 사용하면 데이터 웨어하우스 에서보다 훨씬 빠르게 광범위한 .. 공감수 0 댓글수 0 2022. 10. 14.
컴퓨터 네트워크의 계층별 역할 간편 요약 용어 정리 OSI 7 계층 네트워크 구성요소를 7 개의 계층으로 역할을 나눈 표준 모델 각 계층별 역할을 통해 통신 규격을 만족 하위 계층은 하드웨어, 상위 계층은 소프트웨어로 구현 TCP/IP OSI 7계층이 나오기 전 널리 사용되던 사실상 표준 역할 각 계층별 역할에 따라 역하리 나눠짐 IP 주소 통신 자료를 최종적으로 전달하기 위해 필요한 송/수신 위치정보 보통 IPv4의 주소 사용, IPv6가 개발됨 패킷 교환 (Packet Switching) 종단 간에 전송되는 데이터를 패킷이라는 단위로 전달 패킷은 네트워크를 통해 일정한 순서 없이 보내지며 어떤 경로를 통해 이동되는지는 네트워크 상황에 따라 다름 통신을 위한 기본 동작 요청 requests 인지 indicaite 응답 response 확인 c.. 공감수 0 댓글수 0 2022. 7. 4.
[AWS / Apache Spark] Amazon EMR의 기능을 알아보자 [1] Amazon EMR 기능 살펴보기 1. 사용 편의성 Amazon EMR을 사용하면 빅 데이터 환경 및 애플리케이션을 간단하게 구축하고 운영할 수 있습니다. 관련 EMR 기능을 통해 클러스터 및 협업 개발을 위한 EMR Studio를 쉽게 프로비저닝하고 관리형으로 확장하고 재구성할 수 있습니다. 몇 분 내에 클러스터 프로비저닝: 몇 분 내에 EMR 클러스터를 시작할 수 있습니다. 인프라 프로비저닝, 클러스터 설정, 구성 또는 튜닝에 대해 걱정할 필요가 없습니다. EMR은 이러한 작업을 처리하여 팀이 차별화된 빅 데이터 애플리케이션 개발에 집중할 수 있도록 합니다. 비즈니스 요구 사항을 충족하도록 리소스의 규모를 쉽게 조정: EMR 관리형 스케일링 정책 확장 및 축소를 쉽게 설정하고 EMR 클러스터를 통해 .. 공감수 1 댓글수 0 2022. 2. 9.
[Apache Spark] 아파치 스파크의 메모리 관리에 대해서 Spark를 사용하다보면 메모리 관련해서 문제가 발생되는 경우가 많습니다. 최근 연구하는데 있어서 Apach Spark의 Structured Streaming(https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html)을 사용할 일이 있어서 사용하는데 메모리 관련해서 문제가 자주 발생되어 이와 관련된 공부한 내용을 적습니다. 본격적인 스파크의 메모리 관리를 알아보기 위해서는 Spark가 왜 메모리 관리 관련해서 알아야되는지 알아야합니다. 왜 스파크의 메모리 관리에 대해서 알아야 하는가? 🤯 스파크는 Task가 수행하는데 있어서 모든 계산이 메모리 내에서 발생하는 메모리 내 처리 엔진입니다 (정확히는 In-Memory t.. 공감수 0 댓글수 0 2022. 1. 24.
아파치 스파크(Apache Spark)의 기능 둘러보기 스파크의 라이브러리는 그래프 분석, 머신러닝 그리고 스트리밍 등 다양한 작업을 지원하며, 컴퓨팅 및 스토리지 시스템과의 통합을 돕는 역할을 합니다. 이번 포스팅을 통해 아직 다루지 않은 API와 주요 라이브러리 그리고 스파크가 제공하는 다양한 기능을 소개합니다. 1. 운영용 애플리케이션 실행하기 spark-submit 명령을 사용해 대화형 셸에서 개발한 프로그램을 운영용 애플리케이션으로 쉽게 전환할 수 있습니다. Spark-submit 명령은 애플리케이션 코드를 클러스터에 전송해 실행시키는 역할을 합니다. 클러스터에 제출된 애플리케이션은 작업이 종료되거나 에러가 발생할 때까지 실행됩니다. 스파크 애플리케이션은 Standlone, Mesos, YARN 클러스터 매니저를 이용해 실행합니다. Spark-sub.. 공감수 0 댓글수 0 2021. 12. 31.
아파치 스파크(Apache Spark)의 기본 배경지식 이번에는 아파치 스파크의 DataFrame, SQL을 사용해 클러스터, 스파크 애플리케이션 그리고 구조적 API를 살펴봅시다. 스파크의 기본 아키텍처 보통 컴퓨터로는 대규모 정보를 연산할 만한 자원이나 성능을 가지지 못합니다. 연산을 할 수 있다고 해도 완료하는 데 너무 많은 시간이 걸릴 수 있습니다. 컴퓨터 클러스터는 여러 컴퓨터의 자원을 모아 하나의 컴퓨터처럼 사용할 수 있게 만듭니다. 하지만 컴퓨터 클러스터를 구성하는 것만으로는 부족하며 클러스터에서 작업을 조율할 수 있는 프레임워크가 필요합니다. 스파크가 바로 그런 역할을 하는 프레임워크입니다. 스파크는 클러스터의 데이터 처리 작업을 관리하고 조율합니다. 스파크가 연산에 사용할 클러스터는 스파크 Standalone 클러스터 매니저, 하둡 YARN,.. 공감수 1 댓글수 0 2021. 11. 9.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.