챕터2. 빅데이터의 탐색

챕터2. 빅데이터의 탐색

2-1 크로스 집계의 기본

#트랜잭션 테이블, 크로스 테이블, 피벗 테이블

크로스 테이블: 행과 열로 쉽게말해 엑셀같은 경우

DB에서 행을 추가하는 것은 간단하지만 열을 늘리는 것은 간단하지 않다.

 

트랜잭션 테이블: 행 방향으로만 증가하고 열 방향으로는 데이터를 증가시키지 않는다.

트랜색별 테이블에서 크로스 테이블로 변환하는 과정을 ‘크로스 집계’라고 한다.

 

#룩업 테이블

트랜잭션 테이블에 다른 테이블과 결합하고 싶을 경우 사용되는 것이 ‘룩업 테이블’

 

Pandas에 의한 크로스 집계

2개의 테이블을 결합하려면 merge()를 실행한다.

import pandas as pd
df1 = pd.read_excel(u'판매 데이터.xlsx',u'판매 이력')
df2 = pd.read_excel(u'판매 데이터.xlsx',u'상품')
df3 = pd.merge(df1,df2,on=u'상품 ID')

 

#SQL에 의한 테이블의 집계

피벗 테이블에 의한 크로스 집계, BI도구, pandas 를 사용하면 수백만 레코드는 집계할 수 있지만, 그 이상이 되면 느려져서 쓸 수 없다.

대량의 데이터를 크로스 집계하려면 SQL을 사용해 ‘집계 함수’를 이용해 데이터 야을 감소할 필요가 있다.

 

데이터를 먼저 ‘SQL로 집계’하고 ‘시각화 도구로 크로스 집계’하는 두 단계의 절차로 생각한다.

피벗(pivot) : 일반적으로 종방향 테이블과 횡방향 테이블의 상호 변환을 테이블의 종횡 변환 또는 비펏이라고 한다.

언피벗 : 횡방향에서 종방향으로 변환하는 작업

 

#데이터 집계 → 데이터 마트 → 시각화(시스템 구성은 데이터 마트의 크기에 따라 결정된다)

데이터의 집계와 시각화 사이에 있는 것이 데이터 마트다.

데이터 마트가 작을 수록 원래의 정보가 적어져 할 수 있는 것이 적어진다.

반대로 커지면 좋은 시각화를 할 수 없게 될 우려가 있다.

---

2-2 열 지향 스토리지에 의한 고속화

#데이터베이스의 지연을 줄이기

데이터양이 증가함에 따라 집계에 걸리는 시간은 길어진다.

초 단위로 데이터를 집계하려면 처음부터 그것을 예상해서 시스템을 마련해야 한다.

원 데이터는 용량적인 제약이 적어 대량의 데이터를 처리할 수 있는 데이터 레이크와 DW에 저장한다.

→ 데이터를 추출해 데이터 마트를 구축하고 항상 초 단위의 응답을 얻을 수 있도록 한다.

 

데이터 처리의 지연

데이터 처리의 응답이 빠르다 → 대기 시간이 적다 → 지연이 적다

가장 간단한 방법 → 모든 데이터를 메모리에 올리는 것

RDB는 원래 지연이 적고, 많은 수의 클라이언트가 동시 접속해도 성능이 나빠지지 않는다.

→ 하지만 RDB는 메모리가 부족하면 급격히 성능이 저하된다.

 

‘압축’과 ‘분산’에 의해 지연 줄이기 (MPP 기술)

MPP(Massive Parallel Processing): 분산된 데이터를 읽어 들이기위해 멀티 코어를 활용하면서 디스크 I/O를 병렬 처리하는 아키텍처

ex) Amazon Redshift , Google BigQuery

 

#열 지향 데이터베이스 접근(칼럼을 압축하여 디스크I/O 줄이기)

데이터의 압축을 고려한 후 알아두어야 할 것이 ‘열 지향’ 개념이다.

→ ‘칼럼 단위로의 데이터 압축’

일반적으로 업무 시스템에서 사용되는 DB는 ‘행 지향 데이터베이스’라고 부른다.

ex) RDB

 

행 지향 데이터베이스(각 행이 디스크 상에 일련의 데이터로 기록된다)

행 지향 데이터베이스에서는 테이블의 각 행을 하나의 덩어리로 디스크에 저장한다.

매일 발생하는 대량의 트랜잭션을 지연없이 처리하기 위해 데이터 추가를 효율적으로 할 수 있다.

행 지향 DB에서는 인덱스를 만든다. 인덱스를 이용해 원하는 레코드를 찾는다.

 

열 지향 데이터베이스(칼럼마다 데이터를 모아 두기)

열 지향 데이터베이스에서 데이터를 미리 칼럼 단위로 정리해 둠으로써 필요한 칼럼만을 로드하여 디스크I/O를 줄인다.

열 지향 데이터베이스는 데이터의 압축 효율도 우수하다.

 

#MPP 데이터베이스의 접근 방식(병렬화에 의해 멀티 코어 활용하기)

쿼리 지연을 줄일 또 다른 방법은 MPP 아키텍처에 의한 데이터 처리의 병렬화.

MPP에서는 하나의 쿼리를 다수의 작은 태스크로 분해하고 이를 가능한 한 병렬로 실행한다.

 

MPP 데이터베이스와 대화형 쿼리 엔진

쿼리가 잘 병렬화 할 수 있다면 MPP를 사용한 데이터의 집계를 CPU 코어 수에 비례하여 고속화된다.

단, 디스크로부터의 로드가 병목 현상이 발생하지 않도록 데이터가 고르게 분산되어 있어야 한다.

 

MPP는 그 구조상, 고속화를 위해 CPU와 디스크 모두를 균형 있게 늘려야 한다.

---

2-3 애드 혹 분석과 시각화 도구

#Jupyter NoteBook에 의한 애드 혹 분석

주피터 노트북은 스크립트 언어를 실행하는 데 사용된다.

 

노트북 내에서의 시각화

주피터 노트북에서는 작업 중인 데이터 프레임에서 그래프를 작성해 노트북에 삽입 할 수 있다.

→ maplotlib 라이브러리를 이용

 

#대시보드 도구(정기적으로 집계 결과를 시각화하기)

대시보드 도구와 BI 도구의 차이는 그다지 엄밀하지는 않다.

전자: 새로운 그래프를 쉽게 추가할 수 있는 것이 중시됨

후자: 대화형 데이터 탐색이 중요시된다.

 

Redash (SQL에 의한 쿼리의 실행결과를 그대로 시각화)

하나의 쿼리가 하나 또는 여러 그래프에 대응한다.

등록한 쿼리는 정기적으로 실행되어 그 결과가 Redash 자신의 DB에 저장된다.

BI 도구만큼 대량의 데이터를 처리할 수는 없다는 점에서 주의가 필요하다.

 

Superset(화면상에서 마우스 조작만으로 그래프를 만들기)

대화형 대시보드를 작성하기 위한 파이썬으로 만든 웹 애플리케이션으로 기본적인 아이디어는 BI도구와 비슷하다.

 

Kibana(엘라스틱서치의 프런트 엔드에서 실시간으로 작성)

자바스크립트로 만들어진 대화식 시각화 도구로, 실시간 대시보드를 만들 목적으로 자주 이용된다.

도입에는 엘라스틱서치가 필수다.

#BI 도구(대화적인 대시보드)

몇 개월 단위의 장기적인 데이터의 추이를 시각화하거나, 집계의 조건을 세부적으로 바꿀 수 있는 대시보드를 만들려면, BI 도구를 사용하는 것이 적합하다.

 

하나의 데이터를 다각적으로 분석하기

---

2-4 데이터 마트의 기본구조

#시각화에 적합한 데이터 마트 만들기(OLAP)

OLAP (Online Analytical Processing)

 

다차원 모델과 OLAP 큐브

OLAP에서는 ‘다차원 모델’의 데이터 구조를 MDX(multidimentional expressions)등의 쿼리 언어로 집계한다.

데이터 분석을 위해 만들어진 다차원 데이터를 ‘OLAP 큐브’라고 부르며

그것을 크로스 집계하는 구조가 OLAP이다.

 

MPP 데이터베이스와 비정규화 테이블

BI도구와 MPP 데이터베이스를 조합하여 크로스 집계하는 경우가 증가하고 있다.

BI도루고 만들고 싶은 그래프에 맞추어 ‘다차원 모델’을 설계한다.

그러나 MPP DB에 다차원 모델의 개념이 없기 때문에 ‘비정규화 테이블’을 준비한다.

비정규화 테이블을 BI도구에서 열어서 기존의 OLAP와 동등한 시각화를 실현할 수 있다.

 

‘시각화에 적합한 데이터 마트를 만드는 것’ → ‘BI 도구를 위한 비정규화 테이블을 만드는’ 프로세스다.

#테이블을 비정규화하기

DB 설계에서 시간과 함께 생성되는 데이터를 기록한 것 → 트랜잭션

트랜잭션에서 참고되는 각종 정보가 → 마스터

트랜잭션은 한 번 기록되면 변화하지 않지만, 마스터는 상황에 따라 다시 쓰인다.

 

팩트 테이블과 디멘전 테이블

DW세계에서는 트랜잭션과 같은 사실이 기록된 것 → 팩트 테이블

거기에 참고되는 마스터 데이터등을 → 디멘전 테이블

 

스타 스키마와 비정규화(팩트 테이블을 중신으로 여러 디멘전 테이블을 결합)

DW를 만들 때 팩트 테이블을 중심으로 여러 디멘전 테이블을 결합하는 것이 좋다.

그림으로 그리면 별 모양이 되므로 스타 스키마 라고 부른다.

 

DW에서 스타 스키마가 사용되는 이유는 단순하기 때문에 이해하기 쉽고 데이터 분석을 쉽게 할 수 있다는 점이다.

 

성능상의 이유 → 데이터양이 증가함에 따라 팩트 테이블은 디멘전 테이블 보다도 훨씬 커져 그 데이터양이 집계 시간을 좌우한다.

따라서 팩트 테이블을 될 수 잇는 한 작게 하는것이 중요하고,

팩트 테이블에는 ID와 같은 키 만 남겨두고 그 외의 나머지는 디멘전 테이블로 옮긴다.

 

비정규화 테이블 (데이터 마트에 정규화는 필요없다)

데이터 마트에 스타 스키마가 사용된 것은 과거의 이야기이며, 적어도 성능상의 문제는 열 지향 스토리지에 의해 해결된다.

스타 스키마에서 좀 더 비정규화를 진행해 모든 테이블을 결합한 팩트 테이블을 ‘비정규화 테이블’이라고 한다.

 

#다차원 모델 시각화에 대비하여 테이블을 추상화하기

다차원 모델은 칼럼을 ‘디멘전’과 ‘측정값’으로 분류한다.

숫자 데이터와 그 집계 방법을 정의하는 것이 측정값이다.

크로스 집계에 있어서의 행과 열을 이용하는 것이 디멘전이다.

---

2-5 요약

• 피벗 테이블을 사용한 크로스 집계의 개념은 데이터를 탐색적으로 살펴보는데 기본이 되는 개념이다.
• 대화식으로 데이터를 시각화하고 그 내용을 알기 위해서는 ‘초 단위로의 고속 집계’가 요구된다.
• 많은 양의 데이터를 처리하기 위해서는 ‘열 지향 스토리지’가 필요하다. MPP 데이터베이스를 사용하면 병렬화에 의한 쿼리 고속화가 가능하다.
• 애드혹 분석, 지속적인 모니터링 → 대시보드 대화형으로 데이터를 시각화 → BI 도구
• 데이터 마트를 작성할 때 트랜잭션처럼 사실이 기록된 ‘팩트 테이블’ 마스터 데이터 등의 ‘디멘전 테이블’ → 모두를 결합한 ‘비정규화 테이블’을 만든다.
• 테이블의 내용이 작으면 ‘RDB’를 데이터 마트로 사용가능 그렇지 않으면 ‘MPP 데이터베이스’등을 이용해 ‘열 지향’으로 데이터가 보관되도록 하는 것이 좋다.
• BI도구로 비정규화 테이블을 오픈함으로써 전통적인 ‘OLAP’에 의한 데이터의 집계처럼 ‘다차원 모델’을 이용한 데이터 분석이 가능하다.
• 다차원 모델은 데이터를 ‘측정값’과 ‘디멘전’으로 분류하여 정의함으로써, 피벗 테이블과 마찬가지로 크로스 집계를 대량의 데이터에 실행할 수 있다.

*출처 - 빅데이터를 지탱하는 기술 / 저자: 니시다 케이스케 / 출판: 제이펍