본문 바로가기

전체 글128

[AI][NLP] 한국어 요약 모델 개발 코드 및 최적화 방법 [AI][NLP] 한국어 요약 모델 개발 코드 및 최적화 방법참여 경진대회한국어 문서 요약 경진대회https://aiconnect.kr/competition/detail/223/task/272/taskInfo AI CONNECT | AI Competition PlatformNo.1 인공지능 경진대회 플랫폼aiconnect.kr최종 5위 모델 상세HuggingFace T5 모델을 기반으로 파인튜닝된 한국어 뉴스 요약 T5 모델을 대회 데이터(전처리)로 파인튜닝하여 사용 코드 최적화 방법Baseline 모델 코드GPT 구조 이해 및 모델 구현 학습자원 사용량과 학습 시간 문제 발생GPU RAM 초기화 방법 - colab에서 GPU RAM 초기화 방법기존 모델에 파인튜닝 시도HuggingFace의 여러 모델로.. 2024. 5. 15.
[LLM][프롬프트엔지니어링] CoT(Chain of Thought) CoT(Chain of Thought)1. CoT(Chain of Thought)란 CoT(사고의 연쇄)는 대규모 언어 모델(LLM)이 복잡한 문제를 해결하기 위해 중간 단계의 추론 과정을 거치는 방법론을 말합니다. 이 방법은 모델이 단순히 답을 제시하는 것을 넘어서, 어떻게 그 결론에 도달했는지를 설명하는 과정을 포함합니다.  Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 논문https://arxiv.org/abs/2201.11903 Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsWe explore how generating a chain of th.. 2024. 5. 7.
[대규모 시스템 설계 기초 2] 1장 근접성 서비스 가상 면접 사례로 배우는 대규모 시스템 설계 기초 21장 근접성 서비스[가상 면접 사례로 배우는 대규모 시스템 설계 기초 2] 도서 관련 참고 자료 GitHub - alex-xu-system/bytebytegoContribute to alex-xu-system/bytebytego development by creating an account on GitHub.github.com 1~3장은 지리적 위치 기반 관계성 데이터를 저장하고 서비스할 때 발생하는 문제를 다룹니다. 1. 문제 이해 및 설계 범위 확정근접성 서비스(Proximity Service) 사용자의 위치나 다른 기기와의 물리적 거리를 기반으로 기능을 제공하는 서비스 기능 요구사항사용자 위치와 검색 반경 정보에 매치되는 사업장 목록 반환사업장 소.. 2024. 4. 28.
[LLM] ReALM: Reference Resolution As Language Modeling 논문 리뷰 ReALM: Reference Resolution As Language Modeling 논문 리뷰 ReALM은 엔터티, 대화 컨텍스트 및 백그라운드 프로세스에 대한 모호한 참조(Reference)를 이해하여 에이전트와 자연스러운 상호 작용 수행하는 방법론입니다. 엔티티와 위치를 기반으로 텍스트 기반의 내용 표현을 생성하고, LM으로 파인튜닝합니다. 화면상의 참조에 대해 GPT-4보다 높은 성능을 보여줍니다. 논문 링크 : https://arxiv.org/abs/2403.20329 ReALM: Reference Resolution As Language Modeling Reference resolution is an important problem, one that is essential to underst.. 2024. 4. 21.
[LLM] Social Skill Training with Large Language Models 논문 리뷰 Social Skill Training with Large Language Models 논문 리뷰 사람들은 효과적인 의사소통과 직장 및 개인의 삶에 잘 생활하기 위해 갈등 해결과 같은 사회적 기술(Social Skill)을 활용합니다. 그러나 대부분의 사람들에게 사회적 기술 훈련 환경은 접근하기 어렵습니다. 이 문제를 해결하기 위해 대규모 언어 모델을 활용하여 사회적 기술 훈련에 대한 현실적인 실습과 맞춤화된 피드백을 가능하게 하는 APAM 프레임워크(AI Partner, AI Mentor)를 제안합니다​​. https://arxiv.org/abs/2404.04204 Social Skill Training with Large Language Models People rely on social skills.. 2024. 4. 10.
[Ops] Ops 총정리 (DevOps, MLOps, DataOps, SecOps, AIOps, LLMOps) Ops 총정리 DevOps, MLOps, DataOps, SecOps, AIOps, LLMOps 1. Ops란? 'Ops'는 'Operations'의 줄임말로 기술 및 비즈니스 운영을 최적화하고, 효율성을 높이며, 지속 가능한 가치 창출을 목표로 하는 다양한 방법론, 관행, 프로세스를 의미합니다. 'Ops'는 여러 다른 용어와 결합되어 특정 분야에서의 운영 방법론을 나타내는데, 가장 대표적인 예로 DevOps, MLOps, DataOps, SecOps, AIOps 등이 있습니다. 2. 개념 및 목표 DevOps DevOps는 'Development(개발)'와 'Operations(운영)'의 합성어로, 소프트웨어 개발과 운영이 긴밀하게 협력하여 더 빠르고 안정적으로 제품을 배포하고 운영할 수 있도록 하는 .. 2024. 4. 3.

티스토리툴바