BigData/Dataflow 검색 결과

4 개의 검색 결과가 있습니다.

BigData/Dataflow

Airflow - 간단한 Mysql to MSSQL(SQL Server) 이관 예제

1. Connection Setting 1) Web UI A. UI 상단에 Admin의 Sub 메뉴로 Connections B. airflow db init 명령을 진행하면 default로 몇 개의 Connection이 생성되어 있다. C. Connction 설정 i. Conn id : 추후 DAG 작성 시 사용하는 연결 ID ii. Conn Type : airflow provider package를 설치하면 나오는 연결 타입 iii. Schema : 데이터베이스명 iv. Login : 로그인 아이디 v. Password : 비밀번호 vi. Port : DB 연결 포트 vii. Extra : Connection에 사용되는 Parameter 값으로 uri 입력시의 ? 뒷 절을 의미한다. (ㄱ) ex > c..

BigData/Dataflow

Airflow Operator 정리

1. 역할 1) DAG의 노드가 되는 특정 유형의 작업을 생성할 수 있도록 함 2) 모든 Operator는 Base Operator 에서 상속되어 생성됨 3) 모든 Sensor 는 Base Sensor Operator에서 상속되어 생성됨 4) 모든 Sensors는 Base Sensor Opeatior의 timeout과 poke_interval 을 상속함 5) 연산자는 3가지 유형을 가짐 (1) 작업을 수행하거나 다른 시스템에 작업을 수행하도록 하는 지시하는 Action Operator (2) 한 시스템에서 다른 시스템으로 데이터를 이동 시키는 Transfer Operator (3) 특정 조건이 충족될 때까지 반복으로 실행되는 Sensor Operator 2. packages 1) airflow.opera..

BigData/Dataflow

Airflow 병렬 프로세스 및 설치

1. 개념 1) 아키텍쳐 (1) Worker : 할당된 작업을 실행 (2) Scheduler : 큐에 작업을 추가 (3) Web server : DAG, 작업 등 Web UI 제공 (4) Database : 보안, 작업, DAG, 변수, 연결 등의 상태에 대한 정보를 저장 (5) Celery : 큐 병렬 처리 관리 I. Broker : 실행 명령을 저장 II. Result Backend : 완료된 명령 상태 저장 2) 프로세스 (1) Scheduler Process는 실행되어야 할 작업을 Queue Broker에게 전달한다. (2) Scheduler Process가 작업의 상태를 Result Backend에 저장하고 Queue Broker가 주기적으로 작업의 상태를 관리한다. (3) Queue Broke..

BigData/Dataflow

Airflow 기초 설치

1. Data Workflow 1) Data Workflow의 필요성 (1) 데이터 처리를 하는 배치가 Source의 유형이 매우 다양해짐 (2) 데이터의 필요성과 그 양이 매우 늘어남으로 데이터 가공 배치의 개수가 빠르게 상승함 (3) 기존의 방식은 데이터를 시간에 대한 예측이 필요하고 선 작업이 끝난 후에 작업을 하도록 수동 설정을 했어야 함 2) Data Workflow의 목적 (1) 전체 Flow를 한 곳에서 관찰 가능하도록 함 (2) 배치 파이프라인 모니터링 및 스케줄링이 가능함 (3) 각 Task 별로 병렬 처리 가능 (4) 유연한 DAG 작성 3) Airflow Open Project (1) AirBnb에서 2015년에 만든 Workflow Open Source, DAG Workflow를 정..