IT 사물함 🐻

1.하둡에코시스템 하둡은 HDFS의 분산 데이터 저장과 빅데이터 처리 방식인 MapReduce방식으로 이루어져 있다. 하둡을 좀 더 편하고, 단점을 보완하기 위해 여러 서브 프로젝트들이 진행되어 왔다. → 그 서브 프로젝트의 모임을 하둡 에코 시스템이라고 한다. 2.맵리듀스(MadpReduce) 하둡의 계산을 담당한다. 정렬된 데이터를 분산처리 - Map 하고 이를 다시 합치는 - Reduce 과정을 수행한다. Map & Reduce 구성 총 2개 Map, Reduce의 phase로 구성되어 있다. Map과 Reduce사이에는 shuffle과 Sort라는 스테이지가 존재한다. 각 Map Task는 전체 데이터 세트에 대한 별개의 부분 작업을 수행하게 되는데, 기본적으로 하나의 HDFS Block을 대상으..

1.HDFS에 관하여 Hadoop Distributed File System: 수십 테라 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장, 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템. 기존의 대용량 파일시스템과의 가장 큰 차이점 → 저사양 서버를 이용해 스토리지를 구성할 수 있다는 점. → HDFS를 이용해 수십 혹은 수백 대의 웹 서버급 서버나 저사양 서버를 묶어 하나의 스토리지 처럼 사용할 수 있게 된다. → 대규모 데이터 저장이나 배치로 대규모 데이터의 처리를 하는 경우 HDFS를 이용해 유용하게 사용할 수 있다. 2.HDFS 설계 목표 장애 복구 HDFS는 장애를 빠른 시간에 감지하고, 대처할 수 있도록 설계/구현 되어 있다. 스트리밍 방식의 데이터 접근 HDFS는 랜덤 ..

챕터 5: 빅데이터의 파이프라인 5.1절: ‘워크플로 관리’의 개념 5.2절: ‘DAG’의 내부 표현을 사용한 ‘워크플로’의 개념 설명 5.3절: 데이터 플로우를 사용한 ‘스트림 처리’에 대해 설명 5-1 워크플로 관리 정기적인 데이터 관리를 자동화하여 안정된 배치 처리를 실행하기 위해 워크플로 관리 도구를 도입한다. 워크플로 관리 워크플로 관리: 기업 내의 정형적인 업무 프로세스와 같이 정해진 업무를 원활하게 진행하기 위한 구조 워크플로 관리 도구 워크플로 주요 역할: 정기적으로 태스크를 실행하고 비정상적인 상태를 감지해 그것에 대한 해결을 돕는 것 워크플로 관리도구와 태스크 태스크(task): 데이터 파이프라인의 실행과정에서 데이터를 잇달아 이동하면서 정해진 처리를 반복한다 → 이때 실행되는 개별 처..

챕터4: 빅데이터의 축적 데이터 전송에는 벌크 형과 스트리밍 형의 두 종류의 도구가 사용된다. 객체 스토리지와 데이터 수집 빅데이터는 대부분 확장성이 높은 ‘분산 스토리지’에 저장된다. → 우선 기본이 되는 것은 ‘객체 스토리지’ → 하둡(HDFS), AWS(Amazon S3) 데이터 수집 객체 스토리지에서 효율적으로 처리할 수 있는 파일 크기는 약 1메가바이트 데이터수집: 수집한 데이터를 가공해 집계 효율이 좋은 분산 스토리지를 만드는 일련의 프로세스 벌크 형의 데이터 전송(ETL 서버의 설치 필요성) 원래 데이터가 처음부터 분산 스토리지에 저장되어 있는 것이 아니라면 데이터 전송을 위한 ETL 서버를 설치한다. 데이터 전송의 워크플로 데이터 전송의 신뢰성이 중요한 경우 → 벌크 형 도구를 사용해야 한..

챕터3 :빅데이터의 분산처리 3-1 대규모 분산 처리의 프레임워크 구조화 데이터와 비구조화 데이터 스키마가 명확하게 정의된 데이터를 ‘구조화된 데이터’ 스키마가 없는 데이터는 ‘비구조화 데이터’ 비구조화 데이터를 분산 스토리지 등에 저장하고 그것을 분산 시스템에서 처리하는 것이 데이터 레이크의 개념 스키마리스 데이터 CSV,JSON,XML 등의 데이터는 서식은 정해져 있지만, 칼럼 수나 데이터형은 명확하지 않아 ‘스키마리스 데이터’라고 부른다. 데이터 구조화의 파이프라인 일반적으로 구조화 데이터는 데이터의 압축률을 높이기 위해 열 지향 스토리지로 저장한다. 구조화 데이터 중 시간에 따라 증가하는 데이터를 팩트 테이블, 그에 따른 부속 데이터를 디멘전 테이블로 취급한다. 비구조화 데이터를 읽어 열 지향 스..

챕터2. 빅데이터의 탐색 2-1 크로스 집계의 기본 #트랜잭션 테이블, 크로스 테이블, 피벗 테이블 크로스 테이블: 행과 열로 쉽게말해 엑셀같은 경우 DB에서 행을 추가하는 것은 간단하지만 열을 늘리는 것은 간단하지 않다. 트랜잭션 테이블: 행 방향으로만 증가하고 열 방향으로는 데이터를 증가시키지 않는다. 트랜색별 테이블에서 크로스 테이블로 변환하는 과정을 ‘크로스 집계’라고 한다. #룩업 테이블 트랜잭션 테이블에 다른 테이블과 결합하고 싶을 경우 사용되는 것이 ‘룩업 테이블’ Pandas에 의한 크로스 집계 2개의 테이블을 결합하려면 merge()를 실행한다. import pandas as pd df1 = pd.read_excel(u'판매 데이터.xlsx',u'판매 이력') df2 = pd.read_e..

CH1. 빅데이터의 기초지식 1-1 [배경] 빅데이터의 정착 #분산 시스템에 의한 데이터 처리의 고속화 - 빅데이터의 취급이 어려운 이유 데이터의 분석 방법을 모른다는 점 데이터 처리에 수고와 시간이 걸린다는 점 #빅데이터 기술의 요구 (Hadoop과 NoSQL의 대두) Hadoop: 다수의 컴퓨터에서 대량의 데이터를 처리하기 위한 시스템 구글에서 개발된 MapReduce를 참고해 제작되었다. NoSQL 데이터베이스 종류: 키 밸류 스토어, 도큐멘트 스토어, 와이드 칼럼 스토어 #분산 시스템의 비즈니스 이용 개척 - 데이터 웨어하우스와의 공존 가속도적으로 늘어나는 데이터의 처리는 Hadoop에 맡기고 비교적 작거나 중요한 데이터만을 데이터 웨어하우스에 넣는 식으로 사용을 구분하게 되었다. #직접 할 수 ..