LLM11 [LLM][RAG] RAG(Retrieval-Augmented Generation) 소개 및 설명 [LLM][RAG] RAG(Retrieval-Augmented Generation) 소개 및 설명1. RAG의 정의 및 중요성RAG의 정의RAG는 Retrieval-Augmented Generation의 약자로, 정보 검색과 생성 모델을 결합한 자연어 처리(NLP) 기술을 의미합니다. 전통적인 생성 모델과는 달리, RAG는 먼저 데이터베이스나 문서 집합에서 관련 정보를 검색하고, 검색한 정보를 바탕으로 텍스트를 생성합니다.LLM의 한계정보의 정확성 문제: LLM은 훈련된 데이터에만 의존하기 때문에 최신 정보나 특정 도메인의 깊이 있는 정보에 대한 답변을 제공하는 데 한계가 있습니다.모델의 크기와 효율성: 대형 언어 모델은 매우 크고 무겁기 때문에 실시간 응답을 제공하는 데 있어 비효율적일 수 있습니다.맥.. 2024. 6. 4. [LLM][프롬프트엔지니어링] CoT(Chain of Thought) CoT(Chain of Thought)1. CoT(Chain of Thought)란 CoT(사고의 연쇄)는 대규모 언어 모델(LLM)이 복잡한 문제를 해결하기 위해 중간 단계의 추론 과정을 거치는 방법론을 말합니다. 이 방법은 모델이 단순히 답을 제시하는 것을 넘어서, 어떻게 그 결론에 도달했는지를 설명하는 과정을 포함합니다. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 논문https://arxiv.org/abs/2201.11903 Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsWe explore how generating a chain of th.. 2024. 5. 7. [LLM] ReALM: Reference Resolution As Language Modeling 논문 리뷰 ReALM: Reference Resolution As Language Modeling 논문 리뷰 ReALM은 엔터티, 대화 컨텍스트 및 백그라운드 프로세스에 대한 모호한 참조(Reference)를 이해하여 에이전트와 자연스러운 상호 작용 수행하는 방법론입니다. 엔티티와 위치를 기반으로 텍스트 기반의 내용 표현을 생성하고, LM으로 파인튜닝합니다. 화면상의 참조에 대해 GPT-4보다 높은 성능을 보여줍니다. 논문 링크 : https://arxiv.org/abs/2403.20329 ReALM: Reference Resolution As Language Modeling Reference resolution is an important problem, one that is essential to underst.. 2024. 4. 21. [LLM] Social Skill Training with Large Language Models 논문 리뷰 Social Skill Training with Large Language Models 논문 리뷰 사람들은 효과적인 의사소통과 직장 및 개인의 삶에 잘 생활하기 위해 갈등 해결과 같은 사회적 기술(Social Skill)을 활용합니다. 그러나 대부분의 사람들에게 사회적 기술 훈련 환경은 접근하기 어렵습니다. 이 문제를 해결하기 위해 대규모 언어 모델을 활용하여 사회적 기술 훈련에 대한 현실적인 실습과 맞춤화된 피드백을 가능하게 하는 APAM 프레임워크(AI Partner, AI Mentor)를 제안합니다. https://arxiv.org/abs/2404.04204 Social Skill Training with Large Language Models People rely on social skills.. 2024. 4. 10. [LLM] Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking 논문 리뷰 Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking 논문 리뷰 Self-Taught Reasoner (STaR)는 CoT(Chain-of-Thought)* 접근 방식을 사용하여 정답으로 이어지는 근거 또는 논리적 단계를 스스로 추론하여 학습하는 방식을 도입했습니다. *CoT(Chain-of-Thought): 복잡한 문제 해결 과정 중 언어 모델이 중간 단계의 추론 과정이나 'Chain-of-Thought(생각의 연쇄'를 명시적으로 생성하도록 하는 기법 이 논문에서는 STaR에서 확장하여, 언어 모델이 토큰을 생성할 때마다 미래 텍스트를 설명하기 위한 근거를 내부적으로 생성하도록 학습하는 방식인 Quiet-STaR을 제안합니다.. 2024. 3. 30. [RAG] RAFT: Adapting Language Model to Domain Specific RAG 논문 리뷰 RAFT: Adapting Language Model to Domain Specific RAG RAFT: 도메인 특화 RAG에 대한 언어 모델 적용 논문 리뷰 일반적으로 LLM(대형 언어 모델)을 다양한 애플리케이션에 적용할 때, 도메인별 지식이나 독점(proprietary) 데이터에 대해 🔧 Fine Tuning(파인튜닝) 🔎 RAG(Retrieval Augmented Generation, 검색 증강 생성) 방식을 적용합니다. 논문은 "open-book" 인 도메인 설정에서 질문에 답변하는 능력을 향상시킬 수 있는 RAFT(Retrieval Augmented Fine Tuning)을 제안합니다. * open-book : 모델이 문서를 참조하여 질문에 답할 수 있는 패러다임 RAFT는 RAT(Retrie.. 2024. 3. 19. 이전 1 2 다음
