[HyDE] Precise Zero-Shot Dense Retrieval without Relevance Labels 논문 리뷰

[HyDE] Precise Zero-Shot Dense Retrieval without Relevance Labels 논문 리뷰

이번 논문은 Advanced RAG 의 대표 기법 중 하나인 HyDE에 관한 논문입니다.HyDE 는 Hypothetical Document Embeddings 의 약자로, 가상(가설)의 Document를 만들어 RAG Retrieval 성능을 올린 대표적 기법 중 하나입니다. 원문은 아래에서 확인하실 수 있으며 제가 논문을 해석하면서 틀린 부분이나 오류가 있다면 댓글 달아주시면 감사하겠습니다🤗https://arxiv.org/abs/2212.10496 Precise Zero-Shot Dense Retrieval without Relevance LabelsWhile dense retrieval has been shown effective and efficient across tasks and languag..

  • format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
  • · 2024. 7. 29.
  • textsms
[LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰

[LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰

LLM의 대표적인 PEFT 방법인  LoRA입니다.기존의 Fine-tuning과는 달리 일부 parameter만 fine-tuning을 진행하여 FFT(Full Fine-Tuning) 대비 효율적인 파인튜닝을 위해 고안된 방법입니다. Large Scale Model로 접어들면서 파라미터 수가 어마어마하게 커지게 되었고, 그만큼 fine-tuning을 진행하기 위해서 훨씬 더 많은 computing budget이 필요하게 되었죠, 이를 해결하기 위해 pre-train된 모델의 파라미터는 고정시키고 일부 파라미터만을 학습하는 방법입니다. 원문은 아래 링크에서 확인해 볼 수 있습니다.논문을 리뷰하면서 오류나 제가 잘못 해석한 부분이 있다면 댓글 달아주시면 감사합니다. 🤗https://arxiv.org/abs..

  • format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
  • · 2024. 7. 24.
  • textsms
[SMoE] Mixtral of Experts 논문 리뷰

[SMoE] Mixtral of Experts 논문 리뷰

MoE (Mixture of Expert) 기법을 Mistral 모델에 적용한 Mixtral 8*7B 모델을 소개한 논문입니다.최근 MoE 기법이 대두됨과 동시에 Mixture of Expert 에 대한 게시물을 작성해보면서 함께 읽고 정리해보았습니다.잘못 이해한 부분이 있다면 댓글을 통해 오류를 말씀해주시면 감사하겠습니다🤗 논문은 24년 1월 발표되었으며, 원문 링크는 아래에서 확인할 수 있습니다.https://arxiv.org/abs/2401.04088 Mixtral of ExpertsWe introduce Mixtral 8x7B, a Sparse Mixture of Experts (SMoE) language model. Mixtral has the same architecture as Mistra..

  • format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
  • · 2024. 4. 28.
  • textsms
[Augmented LM] Augmented Language Models : a Survey 논문 리뷰

[Augmented LM] Augmented Language Models : a Survey 논문 리뷰

논문은 23년 2월 발표되었으며, 원본 논문은 아래 링크에서 확인할 수 있습니다.본 논문은 Facebook Research 팀 (현 Meta AI) 에서 작성한 Survey 논문입니다.https://arxiv.org/abs/2302.07842 Augmented Language Models: a SurveyThis survey reviews works in which language models (LMs) are augmented with reasoning skills and the ability to use tools. The former is defined as decomposing a potentially complex task into simpler subtasks while the latter c..

  • format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
  • · 2024. 1. 12.
  • textsms
[LangChain for LLM Application Development] 랭체인 Chains

[LangChain for LLM Application Development] 랭체인 Chains

본 게시물은 Deeplearning.ai 코스를 수강 후 요약 및 정리한 내용입니다. LangChain에서 지원하는 다양한 모듈 중 하나인 Chain 이 체인은 LLM과 프롬프트를 결합하며 다양한 요소를 한 번에 묶어 텍스트나 다른 데이터에 사용할 수 있다는 장점이 있다. 즉, 데이터를 기반으로 Prompt 와 LLM을 결합해서 Sequential 작업을 할 수 있도록 돕는것이 바로 Chain의 역할이다. 따라서, 체인의 장점 중 하나는 바로 많은 입력을 동시에 실행할 수 있다는 것! 그래서 체인 기술을 이용하면 LLM을 단독으로 사용하는 것 보다 더 복잡한 응용 프로그램에 적용시킬 수 있다는 장점이 존재하는데, (그래서 이름이 랭체인인가?) 체인은 쉽게 말하자면 chain = prompt | model..

  • format_list_bulleted LLM/PlayGround
  • · 2023. 12. 20.
  • textsms
[LangChain for LLM Application Development] 랭체인 Memory

[LangChain for LLM Application Development] 랭체인 Memory

본 게시물은 Deeplearning.ai 코스를 수강 후 요약 및 정리한 내용입니다. LLM task에서 중요한 부분 또 한가지! 대규모 언어모델을 통해 챗봇을 만들고 이를 기반으로 사용자와 모델 간 대화를 하기 위해서는 언어 모델이 사용자의 입력을 기억하고 그에 맞는 답변을 도출해야 한다! 이를 Memory라고 하는데, 더 많은 대화 내용을 기억하고 있을 수록 더 구체적이고 정확한 답변이 가능해 질 것이고, 반대로 많은 내용을 기억하다 보면 다양한 LLM 모델들은 보통 토큰 단위로 요금을 지불하기 때문에 너무 많은 내용을 기억하면 토큰 비용이 증가하게 될 것이다. 그래서 이 메모리를 효율적으로 관리하는 것이 가장 중요할 것으로 생각되는데, LangChain에서는 이 메모리들을 관리할 수 있는 기본적인 ..

  • format_list_bulleted LLM/PlayGround
  • · 2023. 12. 15.
  • textsms