로컬 LLM 프롬프트 디버깅을 위한 프롬프터 A/B 테스터 제작기 with Streamlit

로컬 LLM 프롬프트 디버깅을 위한 프롬프터 A/B 테스터 제작기 with Streamlit

https://github.com/architectyou/prompt-tester.git GitHub - architectyou/prompt-tester: A local LLM prompt testing tool inspired by LangSmith playground. Built with streamlit, thiA local LLM prompt testing tool inspired by LangSmith playground. Built with streamlit, this tool allows you to compare two different prompt versions or test a single prompt multiple times. - archi...github.com왜 랭스미스를 안쓰..

  • format_list_bulleted LLM/PlayGround
  • · 2025. 2. 23.
  • textsms
[Ollama] Ollama hub 에 튜닝한 모델 push 하기 (Ollama push)

[Ollama] Ollama hub 에 튜닝한 모델 push 하기 (Ollama push)

로컬에서 오픈소스 모델을 사용하기 위해 종종 다양한 LLM 서빙 툴들을 사용합니다.가장 대중적이면서 접근하기 쉬운 것으로 Ollama가 있죠. Ollama 에서는 Docker와 같이 model 을 pull 하여 Ollama hub에 있는 모델을 로컬 환경에 다운받아 올 수 있습니다. 이 것이 아니라면 직접 로컬 환경에서 gguf 파일과 Modelfile을 이용하여 Ollama list에 업데이트 해줄 수 있습니다. (로컬 환경 제한적) 그럼 내가 학습하고 경량화 한 모델을 Push 하려면 어떻게 해야할까요?  Ollama 사이트 회원 가입https://ollama.com/ OllamaGet up and running with large language models.ollama.com우선 Ollama 사이..

  • format_list_bulleted LLM/PlayGround
  • · 2025. 1. 3.
  • textsms
Gemma2-ko-9B Model 법률 데이터셋 Law-QA-Dataset Fine tuning 파인 튜닝

Gemma2-ko-9B Model 법률 데이터셋 Law-QA-Dataset Fine tuning 파인 튜닝

Gemma2-ko-9B 모델을 법률 QA 셋에 대해 Fine-tuning 진행 해 보았습니다.허깅페이스의 trl, peft 라이브러리를 사용하여 LoRA, SFT Tuning을 진행하였습니다.  LoRA에 대한 개념을 모르시는 분은 아래 게시물을 참고해주세요🙌2024.07.24 - [AI (인공지능) Paper Review/Gen AI (Large Model)] - [LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰 [LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰LLM의 대표적인 PEFT 방법인  LoRA입니다.기존의 Fine-tuning과는 달리 일부 parameter만 fine-tuning을 ..

  • format_list_bulleted LLM/PlayGround
  • · 2024. 9. 30.
  • textsms
LangChain Arxiv 문서 불러오기

LangChain Arxiv 문서 불러오기

LangChain에서 Arxiv 논문 문서를 바로 불러올 수 있는 사실!우선 관련 라이브러리를 설치해 주어야 합니다.pip install -qU arxiv 아카이브 라이브러리 자체가 존재하는지를 몰랐네요...https://pypi.org/project/arxiv/ arxivPython wrapper for the arXiv API: https://arxiv.org/help/api/pypi.org 해당 라이브러리를 통해 Arxiv 논문을 pdf 파일로 바로 다운로드 받을 수도 있고, API를 호출할 수도 있습니다.특정 키워드에 대한 검색도 가능합니다.query에 특정 값을 입력해줌으로써관련 키워드를 가진 논문을 추출해 낼 수 있습니다.다음으로는, arxiv.org에서 라이브러리를 통해 다운로드 한 pdf ..

  • format_list_bulleted LLM/LangChain
  • · 2024. 4. 11.
  • textsms
LangChain, Chromadb 이용 문서 기반 RAG 구현하기

LangChain, Chromadb 이용 문서 기반 RAG 구현하기

LangChain을 이용해 RAG 와 같은 토이프로젝트를 실행해보셨던 분들이라면 익숙하실 python 모듈입니다. https://pypi.org/project/chromadb/ chromadbChroma.pypi.org RAG를 구현하려면 벡터 데이터베이스로부터 정보를 가져와 LLM에 전달해야 하죠?벡터 데이터베이스 역할을 하는 것이 바로 Chromadb 모듈입니다.  pypi 에 나와있는 모듈 특징을 보더라도 LangChain, LlamaIndex를 위주로 하는 데이터베이스 모델임을 확인할 수 있습니다. 다음 명령어를 통해 설치할 수 있습니다.pip install chromadb https://velog.io/@dasiy/%EB%AC%B8%EC%84%9C%EB%A5%BC-%EA%B8%B0%EB%B0%9..

  • format_list_bulleted LLM/LangChain
  • · 2024. 4. 4.
  • textsms
OpenAI API Key 발급 및 환경변수에 관리하기 + colab 에서 사용하기

OpenAI API Key 발급 및 환경변수에 관리하기 + colab 에서 사용하기

LangChain 관련 프레임워크를 공부하다 보면 각종 API key들을 호출하고 관리해야 할 필요가 있습니다.특히 OpenAI API key 처럼 토큰마다 유료 결제를 해 사용해야 하는 항목들의 경우 더 예민하게 관리해야겠죠😔 예를 들어 코드를 수정하다가 Github 과 같은 오픈 레지스토리에 내 API key를 실수로 올리게 된다면... 과금 대참사가 일어날지도 모릅니다..! 또 OpenAI 관련 Cookbook 들을 실습하다 보면 종종 OpenAI API key 가 환경변수로부터 호출되도록 코드가 짜여 있는 것 처럼API, Github Token 등등... 관리는 매우 중요합니다! 그래서 오늘은 OpenAI API key를 Python-dotenv 를 이용하여 환경변수에 관리하는 방법에 대해 알아..

  • format_list_bulleted LLM/LangChain
  • · 2024. 3. 6.
  • textsms