[Ollama] Ollama hub 에 튜닝한 모델 push 하기 (Ollama push)

로컬에서 오픈소스 모델을 사용하기 위해 종종 다양한 LLM 서빙 툴들을 사용합니다.가장 대중적이면서 접근하기 쉬운 것으로 Ollama가 있죠. Ollama 에서는 Docker와 같이 model 을 pull 하여 Ollama hub에 있는 모델을 로컬 환경에 다운받아 올 수 있습니다. 이 것이 아니라면 직접 로컬 환경에서 gguf 파일과 Modelfile을 이용하여 Ollama list에 업데이트 해줄 수 있습니다. (로컬 환경 제한적) 그럼 내가 학습하고 경량화 한 모델을 Push 하려면 어떻게 해야할까요?  Ollama 사이트 회원 가입https://ollama.com/ OllamaGet up and running with large language models.ollama.com우선 Ollama 사이..

• format_list_bulleted LLM/PlayGround
• · 2025. 1. 3.
• textsms

Gemma2-ko-9B Model 법률 데이터셋 Law-QA-Dataset Fine tuning 파인 튜닝

Gemma2-ko-9B 모델을 법률 QA 셋에 대해 Fine-tuning 진행 해 보았습니다.허깅페이스의 trl, peft 라이브러리를 사용하여 LoRA, SFT Tuning을 진행하였습니다.  LoRA에 대한 개념을 모르시는 분은 아래 게시물을 참고해주세요🙌2024.07.24 - [AI (인공지능) Paper Review/Gen AI (Large Model)] - [LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰 [LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰LLM의 대표적인 PEFT 방법인  LoRA입니다.기존의 Fine-tuning과는 달리 일부 parameter만 fine-tuning을 ..

• format_list_bulleted LLM/PlayGround
• · 2024. 9. 30.
• textsms

LangChain Arxiv 문서 불러오기

LangChain에서 Arxiv 논문 문서를 바로 불러올 수 있는 사실!우선 관련 라이브러리를 설치해 주어야 합니다.pip install -qU arxiv 아카이브 라이브러리 자체가 존재하는지를 몰랐네요...https://pypi.org/project/arxiv/ arxivPython wrapper for the arXiv API: https://arxiv.org/help/api/pypi.org 해당 라이브러리를 통해 Arxiv 논문을 pdf 파일로 바로 다운로드 받을 수도 있고, API를 호출할 수도 있습니다.특정 키워드에 대한 검색도 가능합니다.query에 특정 값을 입력해줌으로써관련 키워드를 가진 논문을 추출해 낼 수 있습니다.다음으로는, arxiv.org에서 라이브러리를 통해 다운로드 한 pdf ..

• format_list_bulleted LLM/LangChain
• · 2024. 4. 11.
• textsms

LangChain, Chromadb 이용 문서 기반 RAG 구현하기

LangChain을 이용해 RAG 와 같은 토이프로젝트를 실행해보셨던 분들이라면 익숙하실 python 모듈입니다. https://pypi.org/project/chromadb/ chromadbChroma.pypi.org RAG를 구현하려면 벡터 데이터베이스로부터 정보를 가져와 LLM에 전달해야 하죠?벡터 데이터베이스 역할을 하는 것이 바로 Chromadb 모듈입니다.  pypi 에 나와있는 모듈 특징을 보더라도 LangChain, LlamaIndex를 위주로 하는 데이터베이스 모델임을 확인할 수 있습니다. 다음 명령어를 통해 설치할 수 있습니다.pip install chromadb https://velog.io/@dasiy/%EB%AC%B8%EC%84%9C%EB%A5%BC-%EA%B8%B0%EB%B0%9..

• format_list_bulleted LLM/LangChain
• · 2024. 4. 4.
• textsms

OpenAI API Key 발급 및 환경변수에 관리하기 + colab 에서 사용하기

LangChain 관련 프레임워크를 공부하다 보면 각종 API key들을 호출하고 관리해야 할 필요가 있습니다.특히 OpenAI API key 처럼 토큰마다 유료 결제를 해 사용해야 하는 항목들의 경우 더 예민하게 관리해야겠죠😔 예를 들어 코드를 수정하다가 Github 과 같은 오픈 레지스토리에 내 API key를 실수로 올리게 된다면... 과금 대참사가 일어날지도 모릅니다..! 또 OpenAI 관련 Cookbook 들을 실습하다 보면 종종 OpenAI API key 가 환경변수로부터 호출되도록 코드가 짜여 있는 것 처럼API, Github Token 등등... 관리는 매우 중요합니다! 그래서 오늘은 OpenAI API key를 Python-dotenv 를 이용하여 환경변수에 관리하는 방법에 대해 알아..

• format_list_bulleted LLM/LangChain
• · 2024. 3. 6.
• textsms

[LangChain for LLM Application Development] 랭체인 Agent

본 게시물은 Deeplearning.ai 코스를 수강 후 요약 및 정리한 내용입니다. 본 강의의 마지막 파트 Agent 이다 ㅎㅎ Agent의 주된 개념은 Language model 이 다음에 취할 행동 (Action)을 선택하도록 하게끔 하는 것이다. 따라서 Agent에서 Language model은 어떤 Action을 취할지 결정하는 Reasoning Engine의 역할을 한다. 앞서 우리는 QA task와 같은 많은 task들을 다뤘지만, Reasoning Engine 과 같은 기능이 LLM에 있으면 좋을 것으로 생각된다. Agent 에서 중요한 것은 Language model을 Reasoning Engine으로 사용 할 것이기 때문에 temperature=0으로 지정해두고 코드를 작성해야 한다! ..

• format_list_bulleted LLM/LangChain
• · 2024. 2. 3.
• textsms