https://www.youtube.com/watch?v=rjJ54qtOjW4&list=PL9mhQYIlKEhf23_3QIqQvsa_06CyTZGdl
T아카데미 강의 정리 & 추가 정보 정리
기본 구조
- Spark core : RDD, distributed variables, dataframe 등을 처리하는 핵심
- 내부적으로 JVM에서 구동됨 (다른 언어가 돌아가는 건 인터페이스가 있기에)
- Spark가 MapReduce에 대비 리소스를 많이 요구함
MR보다 빠른 이유
- disk io를 기본적으로 줄이고 메모리 레벨에서 처리하도록 함
- 리니지(계보)를 활용해서 DAG Engine은 Workflow를 최적화한다.
RDD
- Resilient Distributed Datasets 의 약자
- 메모리 클러스터 컴퓨팅을 위한 Fault Tolerant 기술
- 램을 Read Only 형태로 해서 fault-tolerant하게 만든다.
- 리니지가 있으므로 실패한 부분 다시 실행시킴
- Base RDD가 생긴다