320x100
320x100
Scheduler : 모든 DAG와 Task에 대하여 모니터링 및 관리하고 실행해야 할 Task를 스케줄링
Task : 하나의 작업 단위를 Task라고 하며 하나 또는 여러 개의 Task를 이용해 하나의 DAG를 생성
DAG : Directed Acyclic Graph로 개발자가 Python으로 작성한 워크플로우. Task들의 dependency를 정의
Database : DAG와 Task들의 메타데이터를 저장하는 데이터베이스
Worker : 실제 Task를 실행하는 주체. Executor 종류에 따라 다양한 동작 방식
Web server : Airflow의 웹 UI 서버
Operator : Task를 생성 위해 사용되는 Airflow class, BashOperator, PythonOperator 등 제외한 외부 서비스들과 연동을 웨해 제공되며 args를 이용해 동작 정의가 가능
320x100
320x100
'빅데이터 관련 자료' 카테고리의 다른 글
| 쉽게 접근하자! IT 용어 정리 - 레거시 시스템(legacy System) (0) | 2022.04.27 |
|---|---|
| 쉽게 접근하자! 마케팅 용어 정리 - UTM (0) | 2022.04.22 |
| 초보자들 이해하기 쉽게 AWS Amazon Athena 소개 (0) | 2022.03.31 |
| DW(Data Warehouse) 자주 쓰이는 용어 정리 (0) | 2022.02.22 |
| Data Pipeline (0) | 2022.02.18 |