생성형ai6 [LLM][RAG] RAG(Retrieval-Augmented Generation) 소개 및 설명 [LLM][RAG] RAG(Retrieval-Augmented Generation) 소개 및 설명1. RAG의 정의 및 중요성RAG의 정의RAG는 Retrieval-Augmented Generation의 약자로, 정보 검색과 생성 모델을 결합한 자연어 처리(NLP) 기술을 의미합니다. 전통적인 생성 모델과는 달리, RAG는 먼저 데이터베이스나 문서 집합에서 관련 정보를 검색하고, 검색한 정보를 바탕으로 텍스트를 생성합니다.LLM의 한계정보의 정확성 문제: LLM은 훈련된 데이터에만 의존하기 때문에 최신 정보나 특정 도메인의 깊이 있는 정보에 대한 답변을 제공하는 데 한계가 있습니다.모델의 크기와 효율성: 대형 언어 모델은 매우 크고 무겁기 때문에 실시간 응답을 제공하는 데 있어 비효율적일 수 있습니다.맥.. 2024. 6. 4. [생성형AI][LLM] vLLM: LLM 추론 및 배포 최적화 라이브러리 [생성형AI][LLM] vLLM: LLM 추론 및 배포 최적화 라이브러리 1. vLLM이란? Attention Key와 Value을 효과적으로 관리하는 새로운 Attention 알고리즘인 PagedAttention을 활용하여 높은 처리량을 보여주는 LLM 서비스입니다. Efficient Memory Management for Large Language Model Serving with PagedAttention 논문을 기반으로 합니다. 비슷한 LLM 추론 및 배포 서비스로 HuggingFace의 TGI(Text Generation Inference)가 있습니다. vLLM 블로그와 Github 저장소에서 vLLM에 관한 내용과 코드를 확인할 수 있습니다. 2. 기존 방식의 한계점 LLM 추론 방식의 특징 .. 2024. 3. 12. [생성형AI][LLM] RAG 기반 기술문서 QA Gemma 모델 (Hugging Face) RAG 기반 Gemma 기술문서 QA 챗봇 (RAG, Gemma 7B)¶ 목표: RAG와 Gemma를 활용한 Gemma 기술문서 QA 챗봇을 개발합니다. 1. 환경 설정 및 데이터 로드¶ 1-1. 필수 라이브러리 설치¶ In [ ]: !pip install transformers sentence-transformers langchain openai chromadb bs4 accelerate langchain_community pypdf text_generation 1-2. Hugging Face 토큰 등록¶ In [ ]: import os from google.colab import userdata os.environ['HUGGINGFACEHUB_API_TOKEN'] = userdata.get('HUGG.. 2024. 2. 24. [생성형AI][LLM] Gemma 모델 파인튜닝 (Hugging Face) Gemma 모델 파인튜닝 (Hugging Face)¶ Gemma 7B 모델을 SQuAD 한국어 QA Dataset으로 파인튜닝합니다. Gemma Fine-tuning 공식 예시를 기준으로 작성되었습니다. 1. 환경 설정¶ 라이브러리 다운로드 transformers의 경우 4.38.0 이전 버전에서는 Gemma 관련 버그가 존재하여 4.38.1으로 업데이트 해주셔야 합니다. In [ ]: !pip3 install -q -U bitsandbytes==0.42.0 !pip3 install -q -U peft==0.8.2 !pip3 install -q -U trl==0.7.10 !pip3 install -q -U accelerate==0.27.1 !pip3 install -q -U datasets==2.17.0.. 2024. 2. 24. [생성형AI][RAG] 증상 기반 법정감염병 판별 챗봇 😷 증상 기반 법정감염병 판별 챗봇 (RAG, LLaMA2)¶ 목표: RAG와 LLaMA2를 활용한 법정감염병을 판별하는 챗봇을 개발합니다. LLM의 환각과 해결 방안 LLM의 가장 일반적인 문제는 부정확하거나 환각적인 반응을 보인다는 것입니다. LLM의 가중치에 포함된 일반 지식과 최신 정보 간의 불일치는 RAG를 사용하여 해결될 수 있습니다. RAG(Retrieval-Augmented Generation, 검색 증강 생성) RAG에는 외부 지식 소스의 추가 정보를 제공하여 LLM(대형 언어 모델)의 출력을 향상시키는 작업이 포함됩니다. Langchain RAG 문서 내RAG 프로세스 참고 1. 환경 설정 및 데이터 로드¶ 1-1. 필수 라이브러리 설치¶ In [ ]: !pip install trans.. 2024. 2. 9. [생성형AI][LLM] 데이터 없이 생성형 AI를 활용하여 개체명인식(NER) 분류 - 금융 도메인 데이터 없이 생성형 AI를 활용하여 개체명인식(NER) 분류 - 금융 도메인¶ 토큰 분류는 문장의 개별 토큰에 레이블을 할당합니다. 가장 일반적인 토큰 분류 작업 중 하나는 개체명 인식(Named Entity Recognition, NER)입니다. 개체명 인식은 문장에서 사람, 위치 또는 조직과 같은 각 개체의 레이블을 찾으려고 시도합니다. GPT-3로 생성된 금융 NER 데이터 세트에서 klue/roberta-small를 파인 튜닝하여 새로운 개체를 탐지합니다. 추론을 위해 파인 튜닝 모델을 사용합니다. In [ ]: from huggingface_hub import notebook_login notebook_login() VBox(children=(HTML(value=' 2024. 2. 7. 이전 1 다음
