RAG4 [LLM][RAG] RAG(Retrieval-Augmented Generation) 소개 및 설명 [LLM][RAG] RAG(Retrieval-Augmented Generation) 소개 및 설명1. RAG의 정의 및 중요성RAG의 정의RAG는 Retrieval-Augmented Generation의 약자로, 정보 검색과 생성 모델을 결합한 자연어 처리(NLP) 기술을 의미합니다. 전통적인 생성 모델과는 달리, RAG는 먼저 데이터베이스나 문서 집합에서 관련 정보를 검색하고, 검색한 정보를 바탕으로 텍스트를 생성합니다.LLM의 한계정보의 정확성 문제: LLM은 훈련된 데이터에만 의존하기 때문에 최신 정보나 특정 도메인의 깊이 있는 정보에 대한 답변을 제공하는 데 한계가 있습니다.모델의 크기와 효율성: 대형 언어 모델은 매우 크고 무겁기 때문에 실시간 응답을 제공하는 데 있어 비효율적일 수 있습니다.맥.. 2024. 6. 4. [RAG] RAFT: Adapting Language Model to Domain Specific RAG 논문 리뷰 RAFT: Adapting Language Model to Domain Specific RAG RAFT: 도메인 특화 RAG에 대한 언어 모델 적용 논문 리뷰 일반적으로 LLM(대형 언어 모델)을 다양한 애플리케이션에 적용할 때, 도메인별 지식이나 독점(proprietary) 데이터에 대해 🔧 Fine Tuning(파인튜닝) 🔎 RAG(Retrieval Augmented Generation, 검색 증강 생성) 방식을 적용합니다. 논문은 "open-book" 인 도메인 설정에서 질문에 답변하는 능력을 향상시킬 수 있는 RAFT(Retrieval Augmented Fine Tuning)을 제안합니다. * open-book : 모델이 문서를 참조하여 질문에 답할 수 있는 패러다임 RAFT는 RAT(Retrie.. 2024. 3. 19. [생성형AI][LLM] RAG 기반 기술문서 QA Gemma 모델 (Hugging Face) RAG 기반 Gemma 기술문서 QA 챗봇 (RAG, Gemma 7B)¶ 목표: RAG와 Gemma를 활용한 Gemma 기술문서 QA 챗봇을 개발합니다. 1. 환경 설정 및 데이터 로드¶ 1-1. 필수 라이브러리 설치¶ In [ ]: !pip install transformers sentence-transformers langchain openai chromadb bs4 accelerate langchain_community pypdf text_generation 1-2. Hugging Face 토큰 등록¶ In [ ]: import os from google.colab import userdata os.environ['HUGGINGFACEHUB_API_TOKEN'] = userdata.get('HUGG.. 2024. 2. 24. [생성형AI][RAG] 증상 기반 법정감염병 판별 챗봇 😷 증상 기반 법정감염병 판별 챗봇 (RAG, LLaMA2)¶ 목표: RAG와 LLaMA2를 활용한 법정감염병을 판별하는 챗봇을 개발합니다. LLM의 환각과 해결 방안 LLM의 가장 일반적인 문제는 부정확하거나 환각적인 반응을 보인다는 것입니다. LLM의 가중치에 포함된 일반 지식과 최신 정보 간의 불일치는 RAG를 사용하여 해결될 수 있습니다. RAG(Retrieval-Augmented Generation, 검색 증강 생성) RAG에는 외부 지식 소스의 추가 정보를 제공하여 LLM(대형 언어 모델)의 출력을 향상시키는 작업이 포함됩니다. Langchain RAG 문서 내RAG 프로세스 참고 1. 환경 설정 및 데이터 로드¶ 1-1. 필수 라이브러리 설치¶ In [ ]: !pip install trans.. 2024. 2. 9. 이전 1 다음
