하둡

분산 컴퓨팅 프레임워크로 main project로 파일을 분산저장하도록 돕는 HDFS와 클러스터 리소스 매니징을 하는 YARN 두가지가 있다.

블록 구조의 파일 시스템으로 데이터들과 저장 정보를 포함한 메타데이터를 담는 공간이다.

파일은 특정 사이즈의 블록으로 나뉘어 3개의 노드에 들어감 (고가용성, Fault Tolerant)

<aside> 💡 고가용성은 장애가 나도 빠르게 복구하는 특성 Fault Tolerant는 장애가 나도 시스템이 이상없이 동작할 수 있도록 보장하는 특성

</aside>

Client : API 형태로 HDFS에 접근함. Name Node와 통신한 정보로 DataNode에 접근할 수 있음

Name Node : Data Node들을 Orchestation 하면서 Client의 요구에 맞는 응답을 한다.

Data Node : 블록들이 저장되어 있음. 보통 하나의 블록은 3개의 데이터 노드에 각각 저장됨

HDFS v2부터는 HDFS High Availability를 제공한다.

기본적으로 Name Node를 Active-Standby 구조로 제공함. 이때 스탠바이는 핫 스탠바이로 Active가 장애가 나면 바로 Standby로 변경한다.