본문 바로가기

분류 전체보기130

[시각화][애니메이션] 지하철은 내가 탈 때만 붐비는 걸까? - 서울 지하철 시간대별 혼잡도 분석 서울 지하철 역별 시간대별 혼잡도 분석 및 시각화¶ 1. 환경 설정¶ 한글 폰트 설정 In [ ]: !sudo apt-get install -y fonts-nanum !sudo fc-cache -fv !rm ~/.cache/matplotlib -rf 구글 드라이브를 사용하는 경우 In [ ]: from google.colab import drive drive.mount('/content/drive') Mounted at /content/drive 2. 데이터 변환¶ In [ ]: import pandas as pd df = pd.read_csv("/content/drive/MyDrive/Project/Data_viz/역별시간대별_혼잡도/서울교통공사_역별시간대별혼잡도_20221231.csv", encodi.. 2024. 3. 1.
[시각화][애니메이션] 유튜버의 미래는 밝을까? - 2024 문화여가활동 분석 2024 문화 여가 활동 분석 및 시각화¶ 2021.11. ~ 2024.01. 문화여가 활동을 분석하고, 시각화합니다. 1. 환경 설정¶ 한글 폰트 설치 In [1]: !sudo apt-get install -y fonts-nanum !sudo fc-cache -fv !rm ~/.cache/matplotlib -rf 구글 드라이브를 사용하는 경우, 추가 설정 In [2]: from google.colab import drive drive.mount('/content/drive') Drive already mounted at /content/drive; to attempt to forcibly remount, call drive.mount("/content/drive", force_remount=True).. 2024. 3. 1.
[GPU] RAPIDS: 대규모 데이터 세트 분석을 위한 GPU 가속 프레임워크 RAPIDS란? RAPIDS는 NVIDIA에서 제공하는 오픈 소스 소프트웨어 프레임워크로, 대규모 데이터 세트 분석을 가능하게 합니다. RAPIDS는 CUDA, cuDF, cuML, cuGraph, cuSpatial 등과 같은 여러 CUDA 가속 라이브러리를 통합하여 데이터 과학자가 대용량 데이터 세트를 더 빠르고 쉽게 처리할 수 있도록 합니다. RAPIDS는 Python, R, Julia 및 Scala와 같은 다양한 언어에서 사용할 수 있으며, Apache Spark, Apache Hive, Apache Pig 및 Apache HBase와 같은 다양한 데이터 스토리지 시스템에서 사용할 수 있습니다. RAPIDS는 현재 베타 버전이며, NVIDIA에서 앞으로 몇 개월 동안 더 많은 기능을 추가할 예정입니.. 2024. 2. 27.
[생성형AI][LLM] RAG 기반 기술문서 QA Gemma 모델 (Hugging Face) RAG 기반 Gemma 기술문서 QA 챗봇 (RAG, Gemma 7B)¶ 목표: RAG와 Gemma를 활용한 Gemma 기술문서 QA 챗봇을 개발합니다. 1. 환경 설정 및 데이터 로드¶ 1-1. 필수 라이브러리 설치¶ In [ ]: !pip install transformers sentence-transformers langchain openai chromadb bs4 accelerate langchain_community pypdf text_generation 1-2. Hugging Face 토큰 등록¶ In [ ]: import os from google.colab import userdata os.environ['HUGGINGFACEHUB_API_TOKEN'] = userdata.get('HUGG.. 2024. 2. 24.
[HuggingFace][Gemma] RuntimeError: shape '[1, 20, 3072]' is invalid for input of size 81920 문제 상황 Hugging Face Gemma 모델 실행 중 다음 에러 발생 text = "Quote: Imagination is more" device = "cuda:0" inputs = tokenizer(text, return_tensors="pt").to(device) outputs = model.generate(**inputs, max_new_tokens=20) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) RuntimeError: shape '[1, 20, 3072]' is invalid for input of size 81920 해결 방법 transformer 4.38.1 버전으로 설치 pip3 install -q -U transf.. 2024. 2. 24.
[생성형AI][LLM] Gemma 모델 파인튜닝 (Hugging Face) Gemma 모델 파인튜닝 (Hugging Face)¶ Gemma 7B 모델을 SQuAD 한국어 QA Dataset으로 파인튜닝합니다. Gemma Fine-tuning 공식 예시를 기준으로 작성되었습니다. 1. 환경 설정¶ 라이브러리 다운로드 transformers의 경우 4.38.0 이전 버전에서는 Gemma 관련 버그가 존재하여 4.38.1으로 업데이트 해주셔야 합니다. In [ ]: !pip3 install -q -U bitsandbytes==0.42.0 !pip3 install -q -U peft==0.8.2 !pip3 install -q -U trl==0.7.10 !pip3 install -q -U accelerate==0.27.1 !pip3 install -q -U datasets==2.17.0.. 2024. 2. 24.

티스토리툴바