Airflow 기초 설치

1. Data Workflow 1) Data Workflow의 필요성 (1) 데이터 처리를 하는 배치가 Source의 유형이 매우 다양해짐 (2) 데이터의 필요성과 그 양이 매우 늘어남으로 데이터 가공 배치의 개수가 빠르게 상승함 (3) 기존의 방식은 데이터를 시간에 대한 예측이 필요하고 선 작업이 끝난 후에 작업을 하도록 수동 설정을 했어야 함 2) Data Workflow의 목적 (1) 전체 Flow를 한 곳에서 관찰 가능하도록 함 (2) 배치 파이프라인 모니터링 및 스케줄링이 가능함 (3) 각 Task 별로 병렬 처리 가능 (4) 유연한 DAG 작성 3) Airflow Open Project (1) AirBnb에서 2015년에 만든 Workflow Open Source, DAG Workflow를 정..