etl2 [DE-Zoomcamp] 2-a. Kestra vs Airflow - 워크플로 오케스트레이션 도구 비교 이 글은 Data Engineering Zoomcamp Module 2 실습에서 사용한 Kestra와 데이터 엔지니어링 현업에서 가장 많이 쓰이는 Airflow를학습·실습·운영 관점에서 비교 정리한 글입니다. 목차워크플로 오케스트레이션 도구가 필요한 이유Kestra와 Airflow 개요핵심 개념 비교워크플로 정의 방식 비교실행 및 운영 관점 비교어떤 상황에서 어떤 도구를 선택할까정리1. 워크플로 오케스트레이션 도구가 필요한 이유데이터 파이프라인이 복잡해질수록 다음과 같은 요구사항이 발생합니다.작업 간 의존성 관리정기 실행 및 실패 시 재시도실행 이력·로그·상태 추적운영 환경에서의 확장성이를 해결하기 위해 워크플로 오케스트레이션 도구를 사용합니다.대표적인 선택지가 Airflow, 그리고 최근 주목받는 Ke.. 2026. 1. 31. [DE-Zoomcamp] 2. Kestra로 워크플로 오케스트레이션 실습하기 이 글은 Data Engineering Zoomcamp의 Module 2: Workflow Orchestration 를 바탕으로워크플로 오케스트레이션 개념과 Kestra 실습 내용을 정리한 글입니다.목차Workflow Orchestration 개요ETL vs ELT 개념 비교Kestra 소개Kestra 로컬 환경 구성Workflow 실행ETL 파이프라인 구성스케줄링과 Backfill 참고 자료 / 출처1. Workflow Orchestration 개요데이터 엔지니어링에서 워크플로 오케스트레이션은여러 데이터 작업을 순서·의존성·시간 기준으로 관리하는 역할을 합니다.일반적인 데이터 파이프라인은 다음과 같은 단계로 구성됩니다.데이터 수집 (Extract)데이터 변환 (Transform)데이터 적재 (Load).. 2026. 1. 31. 이전 1 다음