cot3 [LLM][프롬프트엔지니어링] CoT(Chain of Thought) CoT(Chain of Thought)1. CoT(Chain of Thought)란 CoT(사고의 연쇄)는 대규모 언어 모델(LLM)이 복잡한 문제를 해결하기 위해 중간 단계의 추론 과정을 거치는 방법론을 말합니다. 이 방법은 모델이 단순히 답을 제시하는 것을 넘어서, 어떻게 그 결론에 도달했는지를 설명하는 과정을 포함합니다. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 논문https://arxiv.org/abs/2201.11903 Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsWe explore how generating a chain of th.. 2024. 5. 7. [LLM] Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking 논문 리뷰 Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking 논문 리뷰 Self-Taught Reasoner (STaR)는 CoT(Chain-of-Thought)* 접근 방식을 사용하여 정답으로 이어지는 근거 또는 논리적 단계를 스스로 추론하여 학습하는 방식을 도입했습니다. *CoT(Chain-of-Thought): 복잡한 문제 해결 과정 중 언어 모델이 중간 단계의 추론 과정이나 'Chain-of-Thought(생각의 연쇄'를 명시적으로 생성하도록 하는 기법 이 논문에서는 STaR에서 확장하여, 언어 모델이 토큰을 생성할 때마다 미래 텍스트를 설명하기 위한 근거를 내부적으로 생성하도록 학습하는 방식인 Quiet-STaR을 제안합니다.. 2024. 3. 30. [RAG] RAFT: Adapting Language Model to Domain Specific RAG 논문 리뷰 RAFT: Adapting Language Model to Domain Specific RAG RAFT: 도메인 특화 RAG에 대한 언어 모델 적용 논문 리뷰 일반적으로 LLM(대형 언어 모델)을 다양한 애플리케이션에 적용할 때, 도메인별 지식이나 독점(proprietary) 데이터에 대해 🔧 Fine Tuning(파인튜닝) 🔎 RAG(Retrieval Augmented Generation, 검색 증강 생성) 방식을 적용합니다. 논문은 "open-book" 인 도메인 설정에서 질문에 답변하는 능력을 향상시킬 수 있는 RAFT(Retrieval Augmented Fine Tuning)을 제안합니다. * open-book : 모델이 문서를 참조하여 질문에 답할 수 있는 패러다임 RAFT는 RAT(Retrie.. 2024. 3. 19. 이전 1 다음
