[Ollama] Ollama hub 에 튜닝한 모델 push 하기 (Ollama push)

[Ollama] Ollama hub 에 튜닝한 모델 push 하기 (Ollama push)

로컬에서 오픈소스 모델을 사용하기 위해 종종 다양한 LLM 서빙 툴들을 사용합니다.가장 대중적이면서 접근하기 쉬운 것으로 Ollama가 있죠. Ollama 에서는 Docker와 같이 model 을 pull 하여 Ollama hub에 있는 모델을 로컬 환경에 다운받아 올 수 있습니다. 이 것이 아니라면 직접 로컬 환경에서 gguf 파일과 Modelfile을 이용하여 Ollama list에 업데이트 해줄 수 있습니다. (로컬 환경 제한적) 그럼 내가 학습하고 경량화 한 모델을 Push 하려면 어떻게 해야할까요?  Ollama 사이트 회원 가입https://ollama.com/ OllamaGet up and running with large language models.ollama.com우선 Ollama 사이..

  • format_list_bulleted LLM/PlayGround
  • · 2025. 1. 3.
  • textsms
[Huggingface Audio Course] 허깅페이스 오디오 코스

[Huggingface Audio Course] 허깅페이스 오디오 코스

Audio샘플링 속도 (Sampling Frequency)1초 동안 수집된 샘플의 수로, 헤르츠(Hz) 단위로 측정됨음성 모델 학습에 주로 쓰이는 샘플링 속도는 16000Hz(16kHz)신호에서 얼마나 큰 주파수까지 캡쳐할 수 있는지를 결정하는데 큰 역할신호에서 캡쳐 가능한 최고 주파수의 한계는 샘플링 속도의 절반 = Nyquist Limit더 높은 샘플링 속도를 사용하여도 얻을 수 있는 추가 정보는 없을 것이며, 오히려 파일 처리에 대한 계산 비용만 증가시킴너무 낮은 샘플링 속도는 정보의 손실로 이어짐모든 예제가 동일한 샘플링 속도로를 가지고 있는지 확인하는 것이 중요Resampling : 서로 다른 샘플링 속도를 일치시켜주는 작업 ➡ 오디오 전처리 과정 중 하나Bit-Depth : 특정 시점의 오디오..

  • format_list_bulleted AI (인공지능) Paper Review/Audio
  • · 2024. 11. 22.
  • textsms
밴디트 문제 (multi-armed bandit problem)

밴디트 문제 (multi-armed bandit problem)

밴디트는 오락실의 슬롯머신을 의미합니다.슬롯 머신의 목표는 코인을 최대한 많이 얻는 것이죠! 밴디트 문제에서는 무작위성에 현혹되지 않게 '기댓값'을 기준으로 평가합니다.만약 각 슬롯 머신의 가치(보상 기댓값)을 알면 플레이어는 가장 좋은 슬롯 머신을 고를 수 있음하지만 실제로는 슬롯머신의 가치를 모름각 슬롯 머신을 돌려보며 가치를 추정 (가능한 정확하게) 해야 함따라서 밴디트 문제에서는 greedy 알고리즘과 epsilon 탐색을 통한 문제 풀이를 진행합니다. Bandit Problem 플레이어는 가치 추정치가 가장 높은 머신을 선택해야 합니다. (Greedy Policy 이용)exploitation : 지금까지 실제로 플레이 한 결과를 바탕으로 가장 좋다고 생각되는 슬롯 머신을 플레이(greedy)ex..

  • format_list_bulleted 딥러닝 기초/Reinforcement Learning
  • · 2024. 11. 21.
  • textsms
[Contextual ASR] CTC-Assisted LLM-Based Contextual ASR 논문 리뷰

[Contextual ASR] CTC-Assisted LLM-Based Contextual ASR 논문 리뷰

SLT 2024에 소개된 Audio(ASR Task)와 LLM을 결합한 내용의 논문입니다.기존의 ASR 태스크에서 Rare word에 대한 인식 성능을 향상시키기 위해 Language Model을 사용했는데요,논문을 읽고 간단히 정리해보았습니다. 원문과 깃헙 코드는 아래 링크에서 확인할 수 있습니다. https://github.com/X-LANCE/SLAM-LLM GitHub - X-LANCE/SLAM-LLM: Speech, Language, Audio, Music Processing with Large Language ModelSpeech, Language, Audio, Music Processing with Large Language Model - X-LANCE/SLAM-LLMgithub.comhtt..

  • format_list_bulleted AI (인공지능) Paper Review/Audio
  • · 2024. 11. 20.
  • textsms

[git] 레포지토리 내 특정폴더만 git clone 받기

클론 폴더 경로 생성mkdir "폴더 이름"cd "폴더 이름" Git 저장소 초기화git init (1)에서 생성한 디렉토리를 git 저장소로 변환 Sparse Checkout 기능 활성화git config core.sparseCheckout true = git 저장소에서 특정 파일이나 디렉토리만을 선택적으로 체크아웃 할 수 있도록 해줌  Remote Repository 연결git remote add -f origin "remote repository url"  Git Checkoutecho "remote repository 폴더 경로" >> .git/info/sparse-checkout 해당 폴더 경로만을 따와 sparse checkout을 진행해줍니다. Git Pullgit pull origin ma..

  • format_list_bulleted 기타 등등/Git
  • · 2024. 11. 20.
  • textsms
[Django] Django 시작하기 1 (설치, 샘플 프로젝트 만들기)

[Django] Django 시작하기 1 (설치, 샘플 프로젝트 만들기)

파이썬 백엔드를 구성하는 프레임워크중 가장 대표적인 것 중 하나 Django가 있죠. 항상 FastAPI로 API를 구성해오다가아직은 대중적으로 쓰이는 것이 Django라 하여 Udemy 강의를 듣고 정리해보았습니다. Django 설치 * conda 가상환경이 설치되어 있다는 가정 하에 진행됩니다.  우선 conda 가상환경을 설치해줍니다.conda create -n jango python=3.10 가상환경 설치시 python이 아닌 django를 먼저 설치 후 나중에 python을 설치하려고 하면기본적으로 python2가 설치됩니다.따라서 파이썬을 먼저 설치해주었습니다.  다음으로 가상환경 활성화 후 conda install을 통해 djnago를 설치합니다.conda activate jangoconda..

  • format_list_bulleted 기타 등등/Python Framework
  • · 2024. 10. 4.
  • textsms