Quiet-STaR1 [LLM] Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking 논문 리뷰 Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking 논문 리뷰 Self-Taught Reasoner (STaR)는 CoT(Chain-of-Thought)* 접근 방식을 사용하여 정답으로 이어지는 근거 또는 논리적 단계를 스스로 추론하여 학습하는 방식을 도입했습니다. *CoT(Chain-of-Thought): 복잡한 문제 해결 과정 중 언어 모델이 중간 단계의 추론 과정이나 'Chain-of-Thought(생각의 연쇄'를 명시적으로 생성하도록 하는 기법 이 논문에서는 STaR에서 확장하여, 언어 모델이 토큰을 생성할 때마다 미래 텍스트를 설명하기 위한 근거를 내부적으로 생성하도록 학습하는 방식인 Quiet-STaR을 제안합니다.. 2024. 3. 30. 이전 1 다음
