피드백

• 엔지니어라면 스킬셋과 행동 양식 관련 피드백을 받게 될 것. 이때 행동 양식 피드백을 받을 때 Comfort Zone에서 벗어나야 하는 일들이 많을 것임.
• 매니저들이 기억할 것
  • 상대를 믿고 선한 의도를 가질 것(Good Faith)
  • 부정적인 피드백은 감정을 섞지 말고 '사람' 보단 '현상' 즉 일에 포커스하기

데이터 파이프라인

• 어중간하게 데이터 Loading을 하느니 아예 Fail시키는 게 낫다.
• 멱등성 : 100번 실행해도 1번 실행한 것과 결과가 같아야 한다.

Airflow

• 매니지드 서비스 : GCP의 Cloud Composer, AWS의 Managed Workflow of Apache Airflow
• 기대한 상상과는 달리 현실은 참혹
  • 버그
  • 데이터 소스들이 난리 남
  • upstream의 실패는 downstream에게 영향을 줌
• 데이터 크기가 안크면 그냥 offset을 0으로 항상 둬서 받아오는 게 나음 ( 멱득성 고려)
  • 크기가 클 때 incremental하게 짜기
• ReRun & BackFill이 중요함

[실습]

colab ETL 소스코드 : https://colab.research.google.com/drive/1Dis48HuS633KKeFWQOXk17Jjye0u5OR3?usp=sharing

Airflow 설치 Document: https://github.com/keeyong/data-engineering/blob/main/docs/Airflow Installation.md

재정리(2021.03.26)

BackFill & ReRun

• Catchup parameter가 True로 설정되어 있어야 한다