[LangChain for LLM Application Development] 랭체인 Evaluation

본 게시물은 Deeplearning.ai 코스를 수강 후 요약 및 정리한 내용입니다. 우리가 LangChain 을 통해 LLM 응용 문제들을 앞서 다뤄보았다! 그렇다면 우리가 다룬 내용들이 제대로 잘 동작하고 있는지, 진행되고 있는지 확인하기 위해서는 Evaluation Metrics 와 같은 평가 지표가 필요할 것이다. 대규모 언어 모델을 통해 만든 Task들을 평가하려면 어떤 과정을 거쳐야 할까? 각각의 파트들이 어떻게 작동하는지, input output 등을 잘 알고 있어야 한다. LM이 다른 LM, Chain 등을 서로 평가할 수 있다. example question 을 생성하고 example ground truth 들을 생성해서 평가하는 방법을 거친다. 디테일하게 하나씩 실습해 보도록 하자. 먼..

• format_list_bulleted LLM/LangChain
• · 2024. 2. 3.
• textsms

[LangChain for LLM Application Development] 랭체인 QA

본 게시물은 Deeplearning.ai 코스를 수강 후 요약 및 정리한 내용입니다. 우리가 자연어 처리 모델을 주로 쓸 때, 특히 대규모 언어 모델을 통해 주로 하고 싶은 것. 바로 QnA task 이다. QA 파트에서는 다음과 같은 내용들을 정리하였다. 주어진 문서 및 자료 질문에 답변하기 pdf, 웹페이지, 인트라넷 내부 문서 등 훈련되지 않은 문서에 처음으로 접하게 되는 것 LLM이 필요에 따라 유동적으로 적용된 다는 것을 의미함 언어 모델, 프롬프트, Output Parser 등을 넘어서서 LangChain의 임베딩 모델, 벡터 저장소 등 혹시 글을 읽다가 모르는 내용들이 나오게 된다면 이전 게시글들을 참조하자. 셋 다 너무 너무 중요한 내용들이다!! 2023.12.15 - [LLM/LangCh..

• format_list_bulleted LLM/LangChain
• · 2024. 2. 3.
• textsms

[LangChain for LLM Application Development] 랭체인 Chains

본 게시물은 Deeplearning.ai 코스를 수강 후 요약 및 정리한 내용입니다. LangChain에서 지원하는 다양한 모듈 중 하나인 Chain 이 체인은 LLM과 프롬프트를 결합하며 다양한 요소를 한 번에 묶어 텍스트나 다른 데이터에 사용할 수 있다는 장점이 있다. 즉, 데이터를 기반으로 Prompt 와 LLM을 결합해서 Sequential 작업을 할 수 있도록 돕는것이 바로 Chain의 역할이다. 따라서, 체인의 장점 중 하나는 바로 많은 입력을 동시에 실행할 수 있다는 것! 그래서 체인 기술을 이용하면 LLM을 단독으로 사용하는 것 보다 더 복잡한 응용 프로그램에 적용시킬 수 있다는 장점이 존재하는데, (그래서 이름이 랭체인인가?) 체인은 쉽게 말하자면 chain = prompt | model..

• format_list_bulleted LLM/LangChain
• · 2023. 12. 20.
• textsms

[LangChain for LLM Application Development] 랭체인 Memory

본 게시물은 Deeplearning.ai 코스를 수강 후 요약 및 정리한 내용입니다. LLM task에서 중요한 부분 또 한가지! 대규모 언어모델을 통해 챗봇을 만들고 이를 기반으로 사용자와 모델 간 대화를 하기 위해서는 언어 모델이 사용자의 입력을 기억하고 그에 맞는 답변을 도출해야 한다! 이를 Memory라고 하는데, 더 많은 대화 내용을 기억하고 있을 수록 더 구체적이고 정확한 답변이 가능해 질 것이고, 반대로 많은 내용을 기억하다 보면 다양한 LLM 모델들은 보통 토큰 단위로 요금을 지불하기 때문에 너무 많은 내용을 기억하면 토큰 비용이 증가하게 될 것이다. 그래서 이 메모리를 효율적으로 관리하는 것이 가장 중요할 것으로 생각되는데, LangChain에서는 이 메모리들을 관리할 수 있는 기본적인 ..

• format_list_bulleted LLM/LangChain
• · 2023. 12. 15.
• textsms

[LangChain for LLM Application Development] 랭체인 Models, Prompts and Parsers

본 게시물은 Deeplearning.ai 코스를 수강 후 요약 및 정리한 내용입니다. 랭체인..!! LLM...!!! 너무 재밌다! 같이 공부할사람! 🙋‍♀️ 먼저 LangChain이 뭔지 모르시는 분들을 위해 LangChain이란 LLM(Large Language Model) application을 제작하기 위한 Pytorch와 같은 오픈소스 개발 framework이다! LangChain framework는 Python, javascript를 지원하며 이 프레임워크를 이용하면 누구나 LLM 모델을 개발해볼 수 있다는 장점이 ..!! ㅎㅎ LangChain은 LLM으로 할 수 있는 거의 모든 기능들을 지원하는데 그 중에서도 LLM의 Composition과 Modularity에 특화되어 있다! LangCh..

• format_list_bulleted LLM/LangChain
• · 2023. 12. 15.
• textsms