챕터1. 빅데이터의 기초지식

CH1. 빅데이터의 기초지식

1-1 [배경] 빅데이터의 정착

#분산 시스템에 의한 데이터 처리의 고속화 - 빅데이터의 취급이 어려운 이유

1. 데이터의 분석 방법을 모른다는 점
2. 데이터 처리에 수고와 시간이 걸린다는 점

#빅데이터 기술의 요구 (Hadoop과 NoSQL의 대두)

Hadoop: 다수의 컴퓨터에서 대량의 데이터를 처리하기 위한 시스템

구글에서 개발된 MapReduce를 참고해 제작되었다.

NoSQL 데이터베이스

종류: 키 밸류 스토어, 도큐멘트 스토어, 와이드 칼럼 스토어

 

#분산 시스템의 비즈니스 이용 개척 - 데이터 웨어하우스와의 공존

가속도적으로 늘어나는 데이터의 처리는 Hadoop에 맡기고 비교적 작거나 중요한 데이터만을 데이터 웨어하우스에 넣는 식으로 사용을 구분하게 되었다.

 

#직접 할 수 있는 데이터 분석 폭 확대 - 클라우드 서비스와 데이터 디스커버리로 가속하는 빅데이터의 활용

데이터 디스커버리: 대화형으로 데이터를 시각화하여 가치 있는 정보를 찾으려고 하는 프로세스, 셀프서비스용 BI 도구 로 불린다.

BI 도구: 경영자용 시각화 시스템으로 대기업의 IT부서에 의해 도입되는 대규모의 도구

---

1-2 빅데이터 시대의 데이터 분석 기반

#[재입문]빅데이터 기술-분산시스템을 활용해서 데이터를 가공해 나가는 구조

데이터 파이프라인: 데이터 수집에서 워크플로 관리까지

데이터 수집: 벌크 형과 스트리밍 형 데이터 전송

• 벌크형: 이미 어딘가에 존재하는 데이터를 정리해 추출하는 방법, DB와 파일 서버 등에서 정기적으로 데이터를 수집하는데 사용한다.
• 스트리밍형: 차례로 생성되는 데이터를 끊임없이 계속해서 보내는 방법으로 모바일 애플리케이션과 임베디드 장비 등에서 데이터를 수집하는데 사용한다.

스트림 처리와 배치 처리

• 스트림 처리: 받은 데이터를 실시간으로 처리하는 방법 장기적인 데이터 분석에는 적합하지 않은 문제가 있다.

분산 스토리지(객체 스토리지, NoSQL DB)

수집된 데이터는 ‘분산 스토리지’에 저장된다.

분산 스토리지: 여러 컴퓨터와 디스크로부터 구성된 스토리지 시스템

객체 스토리지: 한 덩어리로 모인 데이터에 이름을 부여해 파일로 저장(Ex. AWS S3)

 

분산 데이터 처리(쿼리엔진, ETL 프로세스)

분산 스토리지에 저장된 데이터를 처리하는 데는 ‘분산 데이터 처리’의 프레임워크가 필요하다

ETL 프로세스(Extract-Transform-Load): 분산 스토리지에서 추출한 데이터를 데이터 웨어하우스에 적합한 형식으로 변환하는 프로세스

 

워크플로 관리

전체 데이터 파이프라인의 동작을 관리하기 위한 기술

 

#데이터 웨어하우스와 데이터 마트

데이터 웨어하우스

• “대량의 데이터를 장기 보존하는” 것에 최적화
• 업무 시스템을 위한 RDB나 로그 등을 저장하는 파일 서버는 “데이터 소스”라고 한다.
• 거기에 보존된 ‘로우 데이터’를 추출 가공해 데이터 웨어하우스에 저장하기까지의 흐름이 ETL 프로세스 이다.

데이터 마트

• 데이터 분석과 같은 목적에 사용하는 경우에는 데이터 웨어하우스에서 필요한 데이터만 추출하여 “데이터 마트”를 구축한다.
• 데이터 웨어하우스를 중심으로 하는 파이프라인에서는 테이블 설계와 ETL 프로세스가 중요하다.

#데이터 레이크-데이터를 그대로 축적

모든 데이터를 원래의 형태로 축적해두고 나중에 그것을 필요에 따라 가공하는 구조, 여러 곳에서 데이터가 흘러들어 오는 “데이터를 축적하는 호수”에 비유

#데이터를 수집하는 목적

• 데이터 검색: 대량의 데이터 중에서 조건에 맞는 것을 찾고 싶은 경우
• 데이터의 가공: 업무 시스템의 일부로서 데이터 처리 결과를 이용하고 싶은 경우
• 데이터 시각화: 데이터를 시각적을 봄으로써 알고 싶은 정보를 얻는 경우

---

1-2 [속성 학습] 스크립트 언어에 의한 특별 분석과 데이터 프레임

#데이터 처리와 스크립트 언어

파이썬등의 스크립트 언어를 사용하면 ‘데이터 프레임’을 사용해서 테이블 형식의 데이터를 처리 할 수 있다.

‘로우 데이터’를 취급할 기회가 많은 데이터 엔지니어 에게 유용하다.

---

1-4 BI 도구와 모니터링

#자동화하려는 경우에는 데이터 마트를 만든다.

1. BI 도구에서 직접 데이터 소스에 접속하기 -장점: 시스템 구성이 간단하다. -단점: BI도구에서 지원하지 않는 데이터 소스에는 접속 불가능
2. 데이터 마트를 준비하고, 그것을 BI 도구로부터 열기 -장점: 어떤 에티블이라도 자유롭게 만들 수 있다. -단점: 데이터 마트의 설치 및 운영에 비용이 든다.
3. 웹 방식의 BI도구를 도입해 CSV파일을 업로드하기 -장점: 스크립트로 자유롭게 데이터를 가공 -단점: 데이터의 생성 및 업로드에 프로그래밍이 필요

 

*출처 - 빅데이터를 지탱하는 기술 / 저자: 니시다 케이스케 / 출판: 제이펍