데이터 엔지니어링 공부(1) - HDFS란

1.HDFS에 관하여

Hadoop Distributed File System: 수십 테라 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장, 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템.

기존의 대용량 파일시스템과의 가장 큰 차이점

→ 저사양 서버를 이용해 스토리지를 구성할 수 있다는 점.

→ HDFS를 이용해 수십 혹은 수백 대의 웹 서버급 서버나 저사양 서버를 묶어 하나의 스토리지 처럼 사용할 수 있게 된다.

→ 대규모 데이터 저장이나 배치로 대규모 데이터의 처리를 하는 경우 HDFS를 이용해 유용하게 사용할 수 있다.

2.HDFS 설계 목표

• 장애 복구 HDFS는 장애를 빠른 시간에 감지하고, 대처할 수 있도록 설계/구현 되어 있다.
• 스트리밍 방식의 데이터 접근 HDFS는 랜덤 접근 방식 대신 스트리밍 방식으로 데이터에 접근 되도록 설계/구현 되어 있습니다.
  → 그래서 클라이언트는 끊김없이 연속된 흐름 데이터에 접근할 수 있다.
• 대용량 데이터 저장 HDFS는 하나의 파일이 기가바이트에서 테라바이트 또는 그 이상의 크기로 저장 할 수 있도록 설계되어 있다.
• 데이터 무결성 HDFS에서는 한 번 저장한 데이터는 더는 수정할 수 없고, 일기만 가능해 데이터 무결성을 유지하게 된다.
  →하둡 2.0 알바 버전부터 저장된 파일에 append는 가능하게 추가/개선 되었다.

3.블록 구조 파일 시스템

• 저장하는 파일은 특정 크기의 블록으로 나눠져 분산된 서버에 저장 된다.
• 블록 크기는 기본 64MB로 설정되어 있고 변경이 가능하다.
  → 하둡2.0부터는 기본 블록 크기는 128MB로 증가되었다.
• Disk Seek Time 감소
• 네임노드의 메타데이터 크기 감소
  → 네임노드: 블록 위치, 파일명, 디렉토리 구조, 권한 정보와 같은 메타데이터 정보를 메모리에 저장하고 관리하게 된다.
• 클라이언트와 네임노드 통신 감소
• 블록 단위 파일 저장
  
  

• 기본적으로 블록을 복제하여 분산 저장하기 때문에 서버의 디스크에 문제가 발생 되더라도 복제된 블록을 이용해 데이터를 계속 조회 할 수 있게 된다.

4.네임노드와 데이터노드

• HDFS는 마스터 - 슬레이브 구조
• 마스터 서버 - 네임 노드
• 슬레이브 서버 - 데이터 노드

5.네임노드

• 메타데이터 관리
• 데이터노드 모니터링 3초마다 하트비트 메세지를 전송하고, 하트비트는 데이터노드 상태 정보와
  데이터노드에 저장되어 있는 블록의 목록으로 구성되어 있다.
• 블록 관리 장애가 발생한 데이터노드를 발견하면 해당 데이터노드의 블록을 새로운 데이터 노드로 복제한다.
  + 복제본 수도 관리
• 클라이언트 요청 접수

6.데이터노드

• 클라이언트가 HDFS에 저장하는 파일을 로컬디스크에 유지하며 로컬 디스크에 저장되는 파일은 두 종류로 구성된다.
  → 실제 데이터가 저장되어 있는 로우 데이터
  → 체크섬이나 파일 생성 일자와 같은 메타 데이터가 설정되어 있는 파일

 

---

참고자료

https://www.udemy.com/course/best-hadoop/

https://hoing.io/archives/23070

하둡 프로그래밍(4) – 빅데이터 – HDFS 하둡 분산 파일 시스템(1)