BigData/Dataflow
Airflow Operator 정리
1. 역할 1) DAG의 노드가 되는 특정 유형의 작업을 생성할 수 있도록 함 2) 모든 Operator는 Base Operator 에서 상속되어 생성됨 3) 모든 Sensor 는 Base Sensor Operator에서 상속되어 생성됨 4) 모든 Sensors는 Base Sensor Opeatior의 timeout과 poke_interval 을 상속함 5) 연산자는 3가지 유형을 가짐 (1) 작업을 수행하거나 다른 시스템에 작업을 수행하도록 하는 지시하는 Action Operator (2) 한 시스템에서 다른 시스템으로 데이터를 이동 시키는 Transfer Operator (3) 특정 조건이 충족될 때까지 반복으로 실행되는 Sensor Operator 2. packages 1) airflow.opera..
최근댓글