IT/인공지능17 [생성형AI][LLM] Gemma 모델 파인튜닝 (Hugging Face) Gemma 모델 파인튜닝 (Hugging Face)¶ Gemma 7B 모델을 SQuAD 한국어 QA Dataset으로 파인튜닝합니다. Gemma Fine-tuning 공식 예시를 기준으로 작성되었습니다. 1. 환경 설정¶ 라이브러리 다운로드 transformers의 경우 4.38.0 이전 버전에서는 Gemma 관련 버그가 존재하여 4.38.1으로 업데이트 해주셔야 합니다. In [ ]: !pip3 install -q -U bitsandbytes==0.42.0 !pip3 install -q -U peft==0.8.2 !pip3 install -q -U trl==0.7.10 !pip3 install -q -U accelerate==0.27.1 !pip3 install -q -U datasets==2.17.0.. 2024. 2. 24. [생성형AI][Text2Video] Sora: 콘텐츠 제작의 미래를 선도하는 비디오 생성 모델 Sora: 콘텐츠 제작의 미래를 선도하는 비디오 생성 모델 지난 15일(현지 시각), OpenAI는 Text-to-Video 생성 모델 ‘소라(Sora)’를 홈페이지에 공개했습니다. OpenAI의 Sora는 텍스트 기반의 입력에서 비디오를 생성하여 창작의 새로운 장을 열 것으로 기대됩니다. https://openai.com/sora Sora: Creating video from text The current model has weaknesses. It may struggle with accurately simulating the physics of a complex scene, and may not understand specific instances of cause and effect. For exam.. 2024. 2. 20. [생성형AI][RAG] 증상 기반 법정감염병 판별 챗봇 😷 증상 기반 법정감염병 판별 챗봇 (RAG, LLaMA2)¶ 목표: RAG와 LLaMA2를 활용한 법정감염병을 판별하는 챗봇을 개발합니다. LLM의 환각과 해결 방안 LLM의 가장 일반적인 문제는 부정확하거나 환각적인 반응을 보인다는 것입니다. LLM의 가중치에 포함된 일반 지식과 최신 정보 간의 불일치는 RAG를 사용하여 해결될 수 있습니다. RAG(Retrieval-Augmented Generation, 검색 증강 생성) RAG에는 외부 지식 소스의 추가 정보를 제공하여 LLM(대형 언어 모델)의 출력을 향상시키는 작업이 포함됩니다. Langchain RAG 문서 내RAG 프로세스 참고 1. 환경 설정 및 데이터 로드¶ 1-1. 필수 라이브러리 설치¶ In [ ]: !pip install trans.. 2024. 2. 9. [생성형AI][LLM] 데이터 없이 생성형 AI를 활용하여 개체명인식(NER) 분류 - 금융 도메인 데이터 없이 생성형 AI를 활용하여 개체명인식(NER) 분류 - 금융 도메인¶ 토큰 분류는 문장의 개별 토큰에 레이블을 할당합니다. 가장 일반적인 토큰 분류 작업 중 하나는 개체명 인식(Named Entity Recognition, NER)입니다. 개체명 인식은 문장에서 사람, 위치 또는 조직과 같은 각 개체의 레이블을 찾으려고 시도합니다. GPT-3로 생성된 금융 NER 데이터 세트에서 klue/roberta-small를 파인 튜닝하여 새로운 개체를 탐지합니다. 추론을 위해 파인 튜닝 모델을 사용합니다. In [ ]: from huggingface_hub import notebook_login notebook_login() VBox(children=(HTML(value=' 2024. 2. 7. [언어모델 변천사 A to Z] RNN부터 GPT까지 가볍게 살펴보기 [언어모델 변천사 A to Z] RNN부터 GPT까지 가볍게 살펴보기 - 모델별로 간단한 특징과 그림으로 정리했습니다. 1. RNN(Recurrent Neural Network, 1986) Paper: Learning representations by back-propagating errors 시퀀스 데이터를 처리하기 위해 개발된 모델 입력과 출력을 시퀀스 단위로 처리하여, 이전 시퀀스의 정보를 현재 시퀀스에 전달하는 구조 하지만 긴 시퀀스에 대해 정보를 전달하는 데 어려움이 있어, 장기 의존성 문제(long-term dependency problem)를 가지고 있음 2. LSTM(Long Short-Term Memory, 1997) Paper: LONG SHORT-TERM MEMORY(LSTM) RNN.. 2023. 3. 25. 이전 1 2 3 다음
