[LLM][RAG] RAG(Retrieval-Augmented Generation) 소개 및 설명

[LLM][RAG] RAG(Retrieval-Augmented Generation) 소개 및 설명

---

1. RAG의 정의 및 중요성

RAG의 정의

RAG는 Retrieval-Augmented Generation의 약자로, 정보 검색과 생성 모델을 결합한 자연어 처리(NLP) 기술을 의미합니다. 전통적인 생성 모델과는 달리, RAG는 먼저 데이터베이스나 문서 집합에서 관련 정보를 검색하고, 검색한 정보를 바탕으로 텍스트를 생성합니다.

LLM의 한계

1. 정보의 정확성 문제: LLM은 훈련된 데이터에만 의존하기 때문에 최신 정보나 특정 도메인의 깊이 있는 정보에 대한 답변을 제공하는 데 한계가 있습니다.
2. 모델의 크기와 효율성: 대형 언어 모델은 매우 크고 무겁기 때문에 실시간 응답을 제공하는 데 있어 비효율적일 수 있습니다.
3. 맥락 유지의 어려움: 긴 대화나 복잡한 질문의 경우, 맥락을 유지하면서 정확한 답변을 제공하는 데 어려움을 겪을 수 있습니다.
4. 데이터 편향 문제: LLM은 훈련 데이터의 편향을 그대로 반영할 수 있으며, 이는 부정확하거나 편향된 답변을 초래할 수 있습니다.

LLM의 한계를 개선하는 RAG

RAG는 LLM의 한계를 보완하여 더 정확하고 효율적인 답변을 제공할 수 있는 방법입니다. 외부 지식을 활용하는 검색 단계를 추가함으로써, 최신 정보 반영, 모델 크기 감소, 맥락 유지, 데이터 편향 완화 등의 이점을 얻을 수 있습니다.

1. 정보의 정확성 향상: RAG는 질문에 답변하기 위해 외부 지식을 검색하는 단계를 추가합니다. 이를 통해 최신 정보나 훈련 데이터에 포함되지 않은 정보를 포함한 답변을 제공할 수 있습니다. 
2. 모델의 크기와 효율성 개선: RAG는 필요한 경우에만 외부 문서를 검색하고 이를 기반으로 답변을 생성하기 때문에, 모든 정보를 모델 내부에 포함해야 하는 부담을 줄일 수 있습니다.
3. 맥락 유지 능력 강화: RAG는 검색된 문서를 바탕으로 답변을 생성하기 때문에, 복잡한 질문이나 긴 대화에서도 관련성 높은 정보를 제공할 수 있습니다. 
4. 데이터 편향 문제 완화: RAG는 다양한 출처에서 정보를 검색하기 때문에, 특정 데이터에 편향되지 않고 더 균형 잡힌 답변을 제공할 가능성이 높습니다. 또한, 검색된 문서를 통해 답변의 출처를 명확히 할 수 있어 투명성을 높일 수 있습니다.

RAG의 중요성 및 활용 분야

따라서 RAG는 방대한 양의 데이터에서 필요한 정보를 효율적으로 추출할 수 있어 정보 검색의 정확성을 크게 향상시킵니다. 또한, 검색된 정보를 바탕으로 자연스럽고 유용한 텍스트를 생성할 수 있어 다양한 응용 분야에서 활용될 수 있습니다.

• 질문 응답 시스템: RAG는 질문에 대한 정확한 답변을 제공하는 데 매우 유용합니다. 고객 지원 시스템이나 학술 검색 엔진에서 RAG를 활용하면, 사용자에게 더 정확하고 신뢰성 있는 정보를 제공할 수 있습니다.
• 문서 요약: 방대한 문서를 효과적으로 요약하는 데 RAG가 활용될 수 있습니다. 이는 뉴스 요약, 학술 논문 요약 등 다양한 분야에서 중요한 역할을 합니다.
• 챗봇 개발: 자연스러운 대화를 생성할 수 있는 RAG 기술은 고객 서비스나 정보 제공을 위한 챗봇 개발에 매우 유용합니다.
• 기타 응용 분야: RAG는 의료 정보 제공, 법률 자문, 교육 등 다양한 분야에서 활용될 수 있습니다.

 

 

2. RAG의 기술적 배경

RAG 논문: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

https://arxiv.org/abs/2005.11401

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

1. 목적: RAG 모델은 대규모 언어 모델의 한계를 극복하기 위해 제안되었습니다. 특히, 지식 집약적인 NLP 작업에서 더 나은 성능을 제공하기 위해 설계되었습니다.
2. 구조
   • 검색기: 주어진 입력에 대해 관련 문서를 검색합니다. 이 검색기는 기존의 검색 시스템(예: BM25, DPR)을 사용할 수 있습니다.
     • BM25 (Best Matching 25): BM25는 확률적 정보 검색 모델의 일종으로, 단어의 빈도와 문서 길이에 기반하여 문서의 점수를 계산함. 특정 단어가 문서에 많이 등장할수록 해당 문서가 그 단어와 더 관련이 있을 가능성이 높음.
       • 논문:  Okapi at TREC-3.
         • https://www.researchgate.net/publication/221037764_Okapi_at_TREC-3
     • DPR (Dense Passage Retrieval): DPR은 최근에 등장한 딥러닝 기반의 정보 검색 모델로문서와 쿼리를 임베딩하는 데 BERT와 같은 딥러닝 모델을 사용하고, 이 임베딩을 이용해 문서와 쿼리의 유사도를 계산하여 관련 문서를 검색함.
       • 논문: Dense Passage Retrieval for Open-Domain Question Answering
         • https://arxiv.org/abs/2004.04906
     • 생성기: 검색된 문서를 기반으로 응답을 생성합니다. 생성기는 주로 Transformer 기반 언어 모델(예: BART, T5)을 사용합니다.
3. 작동 원리: 입력이 주어지면, 검색기가 관련 문서를 검색하고, 이 문서들을 생성기에 입력으로 제공합니다. 생성기는 이 문서들을 참고하여 보다 정확하고 풍부한 응답을 생성합니다.

 

검색 기반 생성 모델의 발전

검색 기반 생성 모델은 기존의 텍스트 생성 모델에 검색 기능을 통합하여, 관련 정보를 찾아내고 이를 바탕으로 텍스트를 생성하는 방식입니다. 

• 정보 검색(Internet Search) 기술: 정보 검색 분야의 발전은 RAG 모델에 중요한 기술적 기반을 제공합니다. 효율적인 검색 알고리즘과 인덱싱 기술을 통해 대규모 데이터베이스에서 필요한 정보를 신속하게 찾아낼 수 있게 되었습니다.
• 생성 모델(Generative Models)의 발전: 트랜스포머(Transformer) 기반 모델들의 등장은 텍스트 생성의 질을 획기적으로 개선하였습니다. GPT와 BERT와 같은 모델들은 복잡한 언어 패턴을 학습할 수 있으며, 이러한 모델들을 기반으로 한 RAG 시스템은 보다 정확하고 자연스러운 텍스트를 생성할 수 있습니다.

 

3. RAG의 작동 원리

https://arxiv.org/pdf/2005.11401

RAG의 작동원리

1. 검색 단계 (Retrieval Phase)
   • 정보 검색: 먼저, 질문이 주어지면 RAG는 데이터베이스에서 관련 정보를 검색합니다. 이를 위해 RAG는 Dense Passage Retrieval (DPR)과 같은 검색 모델을 사용합니다.
   • 문서 인코딩: 질문과 데이터베이스 내 모든 문서를 각각 고차원 벡터로 인코딩합니다.
   • 유사도 계산: 질문 벡터와 데이터베이스 내 문서 벡터 간의 유사도를 계산하여, 가장 관련성이 높은 문서들을 선택합니다.
2. 생성 단계 (Generation Phase)
   • 정보 결합: 검색된 문서들을 바탕으로, RAG는 질문에 대한 답변을 생성합니다. 이 단계에서는 생성 모델 (예: BART, T5) 이 사용됩니다.
   • 문서 입력: 검색 단계에서 선택된 문서들을 입력으로 받아, 질문과 문서의 정보를 결합하여 답변을 생성합니다.

RAG의 핵심 알고리즘 설명

1. Dense Passage Retrieval (DPR)
   • Dual Encoder 구조: DPR은 질문과 문서를 각각 독립적으로 인코딩하는 두 개의 BERT 모델을 사용합니다.
   • 유사도 계산: 질문 벡터와 문서 벡터 간의 dot product를 계산하여 유사도를 측정합니다.
   • 탑-K 문서 선택: 유사도 계산 결과를 바탕으로, 가장 관련성이 높은 상위 K개의 문서를 선택합니다.
2. Sequence-to-Sequence 생성 모델
   • BART/T5 모델: RAG는 BART 또는 T5와 같은 sequence-to-sequence 생성 모델을 사용합니다. 이 모델들은 입력 시퀀스를 받아 출력 시퀀스를 생성합니다.
   • 문서 결합: 선택된 문서들을 입력으로 받아, 질문과 결합하여 답변을 생성합니다.
3. End-to-End 학습
   • RAG는 검색 단계와 생성 단계를 end-to-end 방식으로 학습합니다. 이는 두 단계가 독립적으로 동작하는 것이 아니라, 하나의 통합된 모델로서 최적화된다는 것을 의미합니다.

 

 

4. RAG의 구현

• [생성형AI][RAG] 증상 기반 법정감염병 판별 챗봇
• [생성형AI][LLM] RAG 기반 기술문서 QA Gemma 모델 (Hugging Face)
  

 

5. RAG의 국내 활용 사례 및 한계점

RAG의 국내 활용 사례

• KB 국민카드: LLM에 RAG를 통합한 챗봇 솔루션 ‘BELLA QNA’ 도입
  • https://www.aitimes.kr/news/articleView.html?idxno=29202

KB국민카드, LLM 기반 고객 경험 혁신 위한 ‘이벤트 Q&AI’ 베타서비스 출시 - 인공지능신문

 

• AI 대륙아주: 넥서스AI와 ‘하이퍼클로바X’ 기반으로 개발한 AI 법률 Q&A 서비스
  • https://www.mk.co.kr/news/it/10969287

법적으로 떼인돈 받는 방법은? 네이버표 첫 ‘AI 법률 챗봇’ 나왔다 - 매일경제

 

 

RAG의 한계

1. 지식의 최신성 및 정확성
   • RAG는 대규모 텍스트 데이터베이스를 기반으로 작동하기 때문에, 데이터베이스의 최신성과 정확성이 중요합니다. 데이터베이스가 최신 정보로 갱신되지 않거나 오류가 포함될 경우, 잘못된 답변이 생성될 수 있습니다.
2. 계산 자원 소모
   • RAG 모델은 검색 단계와 생성 단계를 모두 포함하기 때문에 계산 자원이 많이 소모됩니다. 특히 대규모 데이터베이스에서 정보를 검색하고 이를 기반으로 답변을 생성하는 과정은 많은 시간과 자원이 필요합니다.
3. 답변의 신뢰성
   • RAG가 생성하는 답변의 신뢰성을 보장하기 어렵습니다. 모델이 생성한 답변이 항상 정확하고 신뢰할 수 있는 것은 아니기 때문에, 중요한 결정에 사용하기 전에 검증이 필요합니다.