[LangChain for LLM Application Development] 랭체인 Memory

본 게시물은 Deeplearning.ai 코스를 수강 후 요약 및 정리한 내용입니다. LLM task에서 중요한 부분 또 한가지! 대규모 언어모델을 통해 챗봇을 만들고 이를 기반으로 사용자와 모델 간 대화를 하기 위해서는 언어 모델이 사용자의 입력을 기억하고 그에 맞는 답변을 도출해야 한다! 이를 Memory라고 하는데, 더 많은 대화 내용을 기억하고 있을 수록 더 구체적이고 정확한 답변이 가능해 질 것이고, 반대로 많은 내용을 기억하다 보면 다양한 LLM 모델들은 보통 토큰 단위로 요금을 지불하기 때문에 너무 많은 내용을 기억하면 토큰 비용이 증가하게 될 것이다. 그래서 이 메모리를 효율적으로 관리하는 것이 가장 중요할 것으로 생각되는데, LangChain에서는 이 메모리들을 관리할 수 있는 기본적인 ..

• format_list_bulleted LLM/LangChain
• · 2023. 12. 15.
• textsms

[LangChain for LLM Application Development] 랭체인 Models, Prompts and Parsers

본 게시물은 Deeplearning.ai 코스를 수강 후 요약 및 정리한 내용입니다. 랭체인..!! LLM...!!! 너무 재밌다! 같이 공부할사람! 🙋‍♀️ 먼저 LangChain이 뭔지 모르시는 분들을 위해 LangChain이란 LLM(Large Language Model) application을 제작하기 위한 Pytorch와 같은 오픈소스 개발 framework이다! LangChain framework는 Python, javascript를 지원하며 이 프레임워크를 이용하면 누구나 LLM 모델을 개발해볼 수 있다는 장점이 ..!! ㅎㅎ LangChain은 LLM으로 할 수 있는 거의 모든 기능들을 지원하는데 그 중에서도 LLM의 Composition과 Modularity에 특화되어 있다! LangCh..

• format_list_bulleted LLM/LangChain
• · 2023. 12. 15.
• textsms

[RAG] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 논문 리뷰

RAG는 LLM 모델이 발전함에 있어서 꼭 알아야 할 필수 기능 중 하나입니다.LLM 의 파라미터가 커지고 context window 사이즈가 점점 증가하게 되면서 RAG(Retrieval Augmented Generation) 또한 발전하고 있습니다. Indexing & Retreival 기능을 이용해 학습되지 않은 내용에 대한 query의 답을 외부 Document를 통해 검색하여 답변 생성에 사용하는 것이죠. LLM의 규모가 커지면서 context window 사이즈가 커진다는 것은, 그만큼 참고할 Document의 사이즈도 커질 수 있다는 뜻이 됩니다. 즉, 기존보다 더 많은 Document들을 참고하며 User query에 대한 적절한 답변을 수행할 수 있습니다. 논문은 2020년 5월 발표되었..

• format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
• · 2023. 12. 14.
• textsms

아주 쉽게 Docker 이용해 가상 환경 배포하기

Docker란? 인공지능 개발자라고 하면 종종 제작한 모델을 배포하거나 타인의 모델을 가져올 때 환경 설정에서 크게 애를 먹을 것이다. 아나콘다가 설치된 환경이라면, 환경설정을 Conda export, Conda import 명령어를 통해 yaml 파일로 만들어서 모델이 돌아갈 환경을 배포할 수도 있지만, Docker를 이용하면 보다 편리하게 OS 환경부터 응용 프로그램, 세부적인 라이브러리까지 모두 제공할 수 있다. 따라서 Docker에 대해 쉽게 정리하면, "응용 프로그램과 해당 종속성(라이브러리, 환경 설정 등)을 하나의 격리된 환경으로 묶어 실행할 수 있도록 하는 프로그램" 정도라고 생각하면 좋을 것 같다. Docker를 이용해 모델이 돌아갈만한 환경을 제공하기 위해선 최소한의 몇가지 용어들을 알..

• format_list_bulleted 기타 등등/DevOps
• · 2023. 12. 11.
• textsms