전체 글144 [AI Engineering] 1. 파운데이션 모델과 AI 애플리케이션 개발 흐름 [AI Engineering] 1. 파운데이션 모델과 AI 애플리케이션 개발 흐름이 글은 Chip Huyen의 『AI Engineering』 1장을 바탕으로, 파운데이션 모델의 등장 배경과 활용 사례, AI 애플리케이션의 기획 과정과 기술 스택을 정리한 글입니다.목차AI Engineering이란 무엇인가언어 모델에서 파운데이션 모델까지파운데이션 모델의 주요 활용 사례AI 애플리케이션 기획 시 고려사항AI Engineering 스택의 3개 계층ML Engineering과 AI Engineering의 개발 흐름참고자료1. AI Engineering이란 무엇인가AI Engineering은 이미 학습된 모델을 활용해 AI 애플리케이션을 설계·개발·운영하는 분야입니다.등장 배경모델 규모가 커지면서 번역, 요약, .. 2026. 11. 12. [ECL] AI 시대의 데이터 엔지니어링: ETL에서 ECL로 요약ECL = Extract · Contextualize · LinkETL을 대체하는 개념이 아니라 ETL을 확장하는 관점기존 Transform 단계 안에 있던 두 가지 문제를 분리데이터 의미 정의데이터 엔티티 연결데이터 엔지니어의 역할 변화: 파이프라인 코드 작성 → 데이터 의미 구조 설계※ 데이터 이동 중심 → 데이터 의미 중심 1. ETL로 이해하던 데이터 엔지니어링 ETL을 배운 사람에게 데이터 엔지니어링은 비교적 명확한 구조로 이해된다.소스 시스템에서 데이터를 추출정제와 조인을 통해 데이터를 가공분석에 적합한 저장소에 적재위와 같은 ETL 프레임은 오랫동안 효과적으로 작동했다.데이터 소스는 서로 다른 시스템에 존재했고, 데이터 포맷도 제각각이었으며, 누군가는 이를 분석 가능한 형태로 변환해야 했.. 2026. 3. 7. [DE-Zoomcamp] 7-2. Kafka → Flink → PostgreSQL Streaming Pipeline 실습 이 글은 Data Engineering Zoomcamp의 Module 7: Streaming 를 바탕으로Kafka, Flink, PostgreSQL을 이용한 실시간 데이터 파이프라인 구축 과정을 정리한 글입니다. 목차 실습 목표실습 환경 구성Kafka Producer 구현Kafka Consumer 구현Kafka 데이터를 PostgreSQL에 저장Flink Streaming Job 실행Flink Job 실행 및 확인Window Aggregation 실습Late Event 처리 실험실습 정리참고 자료 / 출처 1. 실습 목표 목표: Streaming 데이터 파이프라인 구축 구성할 데이터 흐름 Producer (Python)↓Kafka (Redpanda)↓Apache Flink↓PostgreSQL 실습에서는.. 2026. 3. 7. [DE-Zoomcamp] 7-1. Streaming Data Processing과 Kafka·Flink 개념 이해하기 이 글은 Data Engineering Zoomcamp의 Module 7: Streaming 를 바탕으로Streaming 데이터 처리의 개념과 Kafka, Flink 기반 데이터 파이프라인 구조를 정리한 글입니다.목차Streaming Data Processing이란 무엇인가Streaming 아키텍처의 기본 구조Kafka (Message Broker)의 역할Kafka를 대신하는 RedpandaStream Processing Framework: Apache FlinkFlink의 핵심 개념Streaming vs Batch Processing실제 데이터 엔지니어링 아키텍처정리참고 자료 / 출처1. Streaming Data Processing이란 무엇인가 데이터 엔지니어링에서 데이터 처리는 크게 두 가지 방식.. 2026. 3. 7. [DE-Zoomcamp] 6-2. Apache Spark 구조와 동작 원리 이 글은 Data Engineering Zoomcamp의 Module 6: Batch Processing를 기반으로, Apache Spark 의 아키텍처, 실행 구조, 그리고 내부 처리 메커니즘을 정리한 글입니다. 목차Apache Spark란 무엇인가Spark를 사용하는 이유Spark의 기본 구조 (Driver / Master / Executor)Spark의 데이터 처리 방식 (Partition 기반 처리)Spark에서의 Transformation과 ActionSpark SQL과 DataFrameSpark가 실무에서 중요한 이유 Spark에서 GroupBy가 동작하는 방식 Shuffle이 중요한 이유 Spark에서 Join이 동작하는 방식 GroupBy와 Join의 공통 구조 RDD와 DataF.. 2026. 3. 1. [DE-Zoomcamp] 6-1. Batch Processing 소개 이 글은 Data Engineering Zoomcamp의 Module 6: Batch Processing를 기반으로, 데이터 처리 방식 중 가장 널리 사용되는 Batch Processing(배치 처리)의 개념과 구조를 정리한 글입니다. 목차Batch Processing이란Batch와 Streaming의 차이왜 Batch Processing이 필요한가Batch 파이프라인의 기본 구조Batch 처리에 사용되는 기술Batch Processing의 장단점실무에서의 Batch 설계 방식참고자료/실습1. Batch Processing이란 Batch Processing은 일정 시간 동안 수집된 데이터를 모아 한 번에 처리하는 방식입니다.데이터가 생성되는 즉시 처리하는 것이 아니라,시간 단위(예: 1시간, 1일, 1.. 2026. 3. 1. 이전 1 2 3 4 ··· 24 다음
