https://docs.google.com/presentation/d/1V20Gl3ihlpUF2MAhfGJWR5EjWo12o_NiHh0mUq4Muhw/edit#slide=id.ga76cf7a5eb_0_101

https://docs.google.com/presentation/d/1V20Gl3ihlpUF2MAhfGJWR5EjWo12o_NiHh0mUq4Muhw/edit#slide=id.ga699920cb4_0_29

DELETE와 Truncate의 차이

Truncuate는 빠른 대신 RollBack이 안된다.

Cloud DW에서 Primary key를 유지하는 방법

• Temp 테이블을 만들어서 중복을 거르는 로직(row_number로 primary key 대상으로 정렬 후 숫자가 1인 것만 뽑기)을 넣어서 원본 테이블에 넣는다.

  

Airflow Backfill

Airflow에서 인자를 전달하기

op_kwargs, params를 사용한다.

params는 context dictionary에서 접근하나 op_kwargs는 바로 접근할 수 있음

Backfill이 되려면

• 데이터 소스가 createdAt을 담고 있어야 한다
• DB가 Append Only인 경우 쉽게 구현할 수 있음
  • 만약 수정이나 삭제가 된다면?
    • Modified, Deleted 컬럼을 별도로 표시해야 함.
    • 레코드를 삭제하지 않도록 Deleted At 혹은 Deleted 필드를 만든다