Redpanda2 [DE-Zoomcamp] 7-2. Kafka → Flink → PostgreSQL Streaming Pipeline 실습 이 글은 Data Engineering Zoomcamp의 Module 7: Streaming 를 바탕으로Kafka, Flink, PostgreSQL을 이용한 실시간 데이터 파이프라인 구축 과정을 정리한 글입니다. 목차 실습 목표실습 환경 구성Kafka Producer 구현Kafka Consumer 구현Kafka 데이터를 PostgreSQL에 저장Flink Streaming Job 실행Flink Job 실행 및 확인Window Aggregation 실습Late Event 처리 실험실습 정리참고 자료 / 출처 1. 실습 목표 목표: Streaming 데이터 파이프라인 구축 구성할 데이터 흐름 Producer (Python)↓Kafka (Redpanda)↓Apache Flink↓PostgreSQL 실습에서는.. 2026. 3. 7. [DE-Zoomcamp] 7-1. Streaming Data Processing과 Kafka·Flink 개념 이해하기 이 글은 Data Engineering Zoomcamp의 Module 7: Streaming 를 바탕으로Streaming 데이터 처리의 개념과 Kafka, Flink 기반 데이터 파이프라인 구조를 정리한 글입니다.목차Streaming Data Processing이란 무엇인가Streaming 아키텍처의 기본 구조Kafka (Message Broker)의 역할Kafka를 대신하는 RedpandaStream Processing Framework: Apache FlinkFlink의 핵심 개념Streaming vs Batch Processing실제 데이터 엔지니어링 아키텍처정리참고 자료 / 출처1. Streaming Data Processing이란 무엇인가 데이터 엔지니어링에서 데이터 처리는 크게 두 가지 방식.. 2026. 3. 7. 이전 1 다음
