IT 사물함 🐻

1.HDFS에 관하여 Hadoop Distributed File System: 수십 테라 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장, 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템. 기존의 대용량 파일시스템과의 가장 큰 차이점 → 저사양 서버를 이용해 스토리지를 구성할 수 있다는 점. → HDFS를 이용해 수십 혹은 수백 대의 웹 서버급 서버나 저사양 서버를 묶어 하나의 스토리지 처럼 사용할 수 있게 된다. → 대규모 데이터 저장이나 배치로 대규모 데이터의 처리를 하는 경우 HDFS를 이용해 유용하게 사용할 수 있다. 2.HDFS 설계 목표 장애 복구 HDFS는 장애를 빠른 시간에 감지하고, 대처할 수 있도록 설계/구현 되어 있다. 스트리밍 방식의 데이터 접근 HDFS는 랜덤 ..

챕터 5: 빅데이터의 파이프라인 5.1절: ‘워크플로 관리’의 개념 5.2절: ‘DAG’의 내부 표현을 사용한 ‘워크플로’의 개념 설명 5.3절: 데이터 플로우를 사용한 ‘스트림 처리’에 대해 설명 5-1 워크플로 관리 정기적인 데이터 관리를 자동화하여 안정된 배치 처리를 실행하기 위해 워크플로 관리 도구를 도입한다. 워크플로 관리 워크플로 관리: 기업 내의 정형적인 업무 프로세스와 같이 정해진 업무를 원활하게 진행하기 위한 구조 워크플로 관리 도구 워크플로 주요 역할: 정기적으로 태스크를 실행하고 비정상적인 상태를 감지해 그것에 대한 해결을 돕는 것 워크플로 관리도구와 태스크 태스크(task): 데이터 파이프라인의 실행과정에서 데이터를 잇달아 이동하면서 정해진 처리를 반복한다 → 이때 실행되는 개별 처..

챕터4: 빅데이터의 축적 데이터 전송에는 벌크 형과 스트리밍 형의 두 종류의 도구가 사용된다. 객체 스토리지와 데이터 수집 빅데이터는 대부분 확장성이 높은 ‘분산 스토리지’에 저장된다. → 우선 기본이 되는 것은 ‘객체 스토리지’ → 하둡(HDFS), AWS(Amazon S3) 데이터 수집 객체 스토리지에서 효율적으로 처리할 수 있는 파일 크기는 약 1메가바이트 데이터수집: 수집한 데이터를 가공해 집계 효율이 좋은 분산 스토리지를 만드는 일련의 프로세스 벌크 형의 데이터 전송(ETL 서버의 설치 필요성) 원래 데이터가 처음부터 분산 스토리지에 저장되어 있는 것이 아니라면 데이터 전송을 위한 ETL 서버를 설치한다. 데이터 전송의 워크플로 데이터 전송의 신뢰성이 중요한 경우 → 벌크 형 도구를 사용해야 한..

챕터6: 볼륨: 컨테이너에 디스크 스토리지 연결 *다루는 내용 다중 컨테이너 파드 생성 컨테이너 간 디스크 스토리지를 공유하기 위한 볼륨 생성 파드 내부에 깃 리포지토리 사용 파드에 GCE 퍼시스턴트 디스크와 같은 퍼시스턴트 스토리지 연결 사전 프로비저닝된 퍼시스턴트 스토리지 퍼시스턴트 스토리지의 동적 프로비저닝 새로운 컨테이너가 시작할 때마다 컨테이너 이미지를 빌프할 때 추가한 파일들을 갖는 컨테이너를 시작한다. → 새로 시작한 컨테이너는 이전에 실행했던 컨테이너에 쓰여진 파일시스템의 어떤 것도 볼 수 없다. 스토리지 볼륨은 파드의 일부분으로 정의되며 파드와 동일한 라이프사이클을 가진다. → 이 때문에 볼륨의 콘텐츠는 컨테이너를 다시 시작해도 지속된다. 6.1 볼륨 소개 쿠버네티스 볼륨은 파드의 구성요..

챕터3 :빅데이터의 분산처리 3-1 대규모 분산 처리의 프레임워크 구조화 데이터와 비구조화 데이터 스키마가 명확하게 정의된 데이터를 ‘구조화된 데이터’ 스키마가 없는 데이터는 ‘비구조화 데이터’ 비구조화 데이터를 분산 스토리지 등에 저장하고 그것을 분산 시스템에서 처리하는 것이 데이터 레이크의 개념 스키마리스 데이터 CSV,JSON,XML 등의 데이터는 서식은 정해져 있지만, 칼럼 수나 데이터형은 명확하지 않아 ‘스키마리스 데이터’라고 부른다. 데이터 구조화의 파이프라인 일반적으로 구조화 데이터는 데이터의 압축률을 높이기 위해 열 지향 스토리지로 저장한다. 구조화 데이터 중 시간에 따라 증가하는 데이터를 팩트 테이블, 그에 따른 부속 데이터를 디멘전 테이블로 취급한다. 비구조화 데이터를 읽어 열 지향 스..