https://www.udemy.com/course/the-complete-hands-on-course-to-master-apache-airflow/

Apache Airflow: The Hands-On Guide

Udemy, The Complete Hands-On Introduction To Apache Airflow 강의를 듣고 정리

TOC

Airflow 정의

Airflow는 프로그래밍 방식(Python)으로 워크플로우를 명령, 스케쥴링, 모니터링 하는 오픈소스 플랫폼.

DAG(irected Acyclic Graph) 구조, 즉 비순환 그래프의 형태를 가져서 처음과 끝이 명확하게 존재함

특징

• Scalability : 확장성이 있음. Single Node, Multiple Node 환경을 모두 지원
• Extensibility : 익스텐션을 사용해 쉽게 커스터마이징이 가능함.

구조

Web Server : GUI 환경을 지원해줌

Schedular : 워크플로우 스케쥴링을 담당함

Metastore : 메타데이터가 저장됨