etl4 [ECL] AI 시대의 데이터 엔지니어링: ETL에서 ECL로 요약ECL = Extract · Contextualize · LinkETL을 대체하는 개념이 아니라 ETL을 확장하는 관점기존 Transform 단계 안에 있던 두 가지 문제를 분리데이터 의미 정의데이터 엔티티 연결데이터 엔지니어의 역할 변화: 파이프라인 코드 작성 → 데이터 의미 구조 설계※ 데이터 이동 중심 → 데이터 의미 중심 1. ETL로 이해하던 데이터 엔지니어링 ETL을 배운 사람에게 데이터 엔지니어링은 비교적 명확한 구조로 이해된다.소스 시스템에서 데이터를 추출정제와 조인을 통해 데이터를 가공분석에 적합한 저장소에 적재위와 같은 ETL 프레임은 오랫동안 효과적으로 작동했다.데이터 소스는 서로 다른 시스템에 존재했고, 데이터 포맷도 제각각이었으며, 누군가는 이를 분석 가능한 형태로 변환해야 했.. 2026. 3. 7. [DE-Zoomcamp] 5. Data Platforms : Bruin 기반 NYC Taxi ELT 파이프라인 구축 이 글은 Data Engineering Zoomcamp의 Module 5: Data Platforms 를 바탕으로Bruin CLI를 활용해 NYC Taxi 데이터를 ingestion → staging → reporting 단계로 구성한End-to-End ELT 파이프라인을 정리한 글입니다. 목차 Data Platform이란 무엇인가Bruin의 핵심 개념NYC Taxi ELT Pipeline 구조Materialization 전략 이해Data Quality & Lineage참고자료/출처 1. Data Platform이란 무엇인가데이터 플랫폼은 단순히 데이터를 저장하는 시스템이 아닌 데이터를 수집하고, 변환하고, 검증하고, 의존성을 관리하는 전체 워크플로를 운영하는 구조를 의미합니다. Modern Dat.. 2026. 2. 22. [DE-Zoomcamp] 2-2. Kestra vs Airflow - 워크플로 오케스트레이션 도구 비교 이 글은 Data Engineering Zoomcamp Module 2 실습에서 사용한 Kestra와 데이터 엔지니어링 현업에서 가장 많이 쓰이는 Airflow를학습·실습·운영 관점에서 비교 정리한 글입니다. 목차워크플로 오케스트레이션 도구가 필요한 이유Kestra와 Airflow 개요핵심 개념 비교워크플로 정의 방식 비교실행 및 운영 관점 비교어떤 상황에서 어떤 도구를 선택할까정리1. 워크플로 오케스트레이션 도구가 필요한 이유데이터 파이프라인이 복잡해질수록 다음과 같은 요구사항이 발생합니다.작업 간 의존성 관리정기 실행 및 실패 시 재시도실행 이력·로그·상태 추적운영 환경에서의 확장성이를 해결하기 위해 워크플로 오케스트레이션 도구를 사용합니다.대표적인 선택지가 Airflow, 그리고 최근 주목받는 Ke.. 2026. 1. 31. [DE-Zoomcamp] 2-1. Kestra로 워크플로 오케스트레이션 실습하기 이 글은 Data Engineering Zoomcamp의 Module 2: Workflow Orchestration 를 바탕으로워크플로 오케스트레이션 개념과 Kestra 실습 내용을 정리한 글입니다.목차Workflow Orchestration 개요ETL vs ELT 개념 비교Kestra 소개Kestra 로컬 환경 구성Workflow 실행ETL 파이프라인 구성스케줄링과 Backfill 참고 자료 / 출처1. Workflow Orchestration 개요데이터 엔지니어링에서 워크플로 오케스트레이션은여러 데이터 작업을 순서·의존성·시간 기준으로 관리하는 역할을 합니다.일반적인 데이터 파이프라인은 다음과 같은 단계로 구성됩니다.데이터 수집 (Extract)데이터 변환 (Transform)데이터 적재 (Load).. 2026. 1. 31. 이전 1 다음
