IT24 [ECL] AI 시대의 데이터 엔지니어링: ETL에서 ECL로 요약ECL = Extract · Contextualize · LinkETL을 대체하는 개념이 아니라 ETL을 확장하는 관점기존 Transform 단계 안에 있던 두 가지 문제를 분리데이터 의미 정의데이터 엔티티 연결데이터 엔지니어의 역할 변화: 파이프라인 코드 작성 → 데이터 의미 구조 설계※ 데이터 이동 중심 → 데이터 의미 중심 1. ETL로 이해하던 데이터 엔지니어링 ETL을 배운 사람에게 데이터 엔지니어링은 비교적 명확한 구조로 이해된다.소스 시스템에서 데이터를 추출정제와 조인을 통해 데이터를 가공분석에 적합한 저장소에 적재위와 같은 ETL 프레임은 오랫동안 효과적으로 작동했다.데이터 소스는 서로 다른 시스템에 존재했고, 데이터 포맷도 제각각이었으며, 누군가는 이를 분석 가능한 형태로 변환해야 했.. 2026. 3. 7. [MCP] MCP(Model Context Protocol) 학습 및 실습 프로젝트 최근 Hugging Face의 MCP(Model Context Protocol) 관련 블로그와 공식 문서를 읽고, 추가로 Hugging Face MCP Course, Agent Course를 수강하면서 MCP의 구조와 활용 가능성을 집중적으로 학습했습니다. 이번 글에서는 학습한 MCP의 개념과 프로젝트에 대해 공유하고자 합니다. MCP 개념MCP 구조 MCP는 AI 어시스턴트·IDE·에이전트가 다양한 도구와 리소스를 표준화된 방식으로 연결할 수 있도록 설계된 프로토콜입니다. 이를 통해 개발 환경과 AI가 보다 매끄럽게 상호작용할 수 있고, 검색·분석·실행과 같은 기능을 통합된 워크플로우에서 활용할 수 있습니다. MCP 장점M×N 통합 문제 해결: 다양한 AI 시스템과 도구, 데이터 소스를 각기 연결하는.. 2025. 9. 28. [Deep Learning Specialization] Neural Networks and Deep Learning [Deep Learning Specialization] Neural Networks and Deep Learning로지스틱 회귀1. 모델 정의로지스틱 회귀 모델은 선형 회귀 모델을 시그모이드 함수에 적용한 형태$$ z = w^T x + b $$$w$: 가중치 벡터$x$: 입력 특성 벡터$b$: 바이어스 (편향) 항이 $z$ 값을 시그모이드 함수에 적용하여 확률값을 계산합니다.$$ \hat{y} = \sigma(z) = \frac{1}{1 + e^{-z}} $$2. 비용 함수 (Cost Function)로지스틱 회귀에서 사용되는 비용 함수는 로그 손실 (Log Loss) 함수로그 손실 함수는 예측된 확률과 실제 클래스 간의 차이를 측정합니다.$$ J(w, b) = -\frac{1}{m} \sum_{i=1}.. 2024. 7. 14. [LLM][RAG] RAG(Retrieval-Augmented Generation) 소개 및 설명 [LLM][RAG] RAG(Retrieval-Augmented Generation) 소개 및 설명1. RAG의 정의 및 중요성RAG의 정의RAG는 Retrieval-Augmented Generation의 약자로, 정보 검색과 생성 모델을 결합한 자연어 처리(NLP) 기술을 의미합니다. 전통적인 생성 모델과는 달리, RAG는 먼저 데이터베이스나 문서 집합에서 관련 정보를 검색하고, 검색한 정보를 바탕으로 텍스트를 생성합니다.LLM의 한계정보의 정확성 문제: LLM은 훈련된 데이터에만 의존하기 때문에 최신 정보나 특정 도메인의 깊이 있는 정보에 대한 답변을 제공하는 데 한계가 있습니다.모델의 크기와 효율성: 대형 언어 모델은 매우 크고 무겁기 때문에 실시간 응답을 제공하는 데 있어 비효율적일 수 있습니다.맥.. 2024. 6. 4. [AI][NLP] 한국어 요약 모델 개발 코드 및 최적화 방법 [AI][NLP] 한국어 요약 모델 개발 코드 및 최적화 방법참여 경진대회한국어 문서 요약 경진대회https://aiconnect.kr/competition/detail/223/task/272/taskInfo AI CONNECT | AI Competition PlatformNo.1 인공지능 경진대회 플랫폼aiconnect.kr최종 5위 모델 상세HuggingFace T5 모델을 기반으로 파인튜닝된 한국어 뉴스 요약 T5 모델을 대회 데이터(전처리)로 파인튜닝하여 사용 코드 최적화 방법Baseline 모델 코드GPT 구조 이해 및 모델 구현 학습자원 사용량과 학습 시간 문제 발생GPU RAM 초기화 방법 - colab에서 GPU RAM 초기화 방법기존 모델에 파인튜닝 시도HuggingFace의 여러 모델로.. 2024. 5. 15. [LLM][프롬프트엔지니어링] CoT(Chain of Thought) CoT(Chain of Thought)1. CoT(Chain of Thought)란 CoT(사고의 연쇄)는 대규모 언어 모델(LLM)이 복잡한 문제를 해결하기 위해 중간 단계의 추론 과정을 거치는 방법론을 말합니다. 이 방법은 모델이 단순히 답을 제시하는 것을 넘어서, 어떻게 그 결론에 도달했는지를 설명하는 과정을 포함합니다. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 논문https://arxiv.org/abs/2201.11903 Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsWe explore how generating a chain of th.. 2024. 5. 7. 이전 1 2 3 4 다음
