Google Prompt Engineering White Paper

Original Paper Link : https://www.kaggle.com/whitepaper-prompt-engineering?_bhlid=a2bfce2cac67662098bd85a241e7cb000576e5d4 Prompt Engineering www.kaggle.com Google에서 정리한 Prompt Engineering White Paper에 대해 간단히 요약하여 정리해 보았습니다🙌읽고 느낀 점은.. LLM & Prompting은 아직은 여전히 경험적으로 체득해야 하는 부분이 훨씬 더 많은 것 같네요😇Prompt EngineeringLLM takes sequential text as input then predict the following token should bethe next ..

  • format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
  • · 2025. 5. 26.
  • textsms
[Lost in the Middle] How Language Models Use Long Contexts 논문 리뷰

[Lost in the Middle] How Language Models Use Long Contexts 논문 리뷰

RAG가 한창 유행일 당시 (지금도 여전히...)Long Context 사이즈의 모델의 필요성이 대두되었고, 모델이 새로 개발됨에 따라 긴 길이의 Context를 수용할 수 있는 모델들이 등장하곤 했습니다. 위 논문은 긴 Context가 들어왔을 때 모델이 문맥의 앞, 뒤는 이해를 하지만 중간 내용은 소실할 수 있는 부분에 대해 다룬 논문입니다. 원문은 아래 링크에서 확인하실 수 있으며, 리뷰 내용에 잘못된 부분이나 오탈자가 있다면 언제든 댓글 달아주시길 바랍니다!🙌https://arxiv.org/abs/2307.03172 Lost in the Middle: How Language Models Use Long ContextsWhile recent language models have the abilit..

  • format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
  • · 2025. 3. 21.
  • textsms
[HyDE] Precise Zero-Shot Dense Retrieval without Relevance Labels 논문 리뷰

[HyDE] Precise Zero-Shot Dense Retrieval without Relevance Labels 논문 리뷰

이번 논문은 Advanced RAG 의 대표 기법 중 하나인 HyDE에 관한 논문입니다.HyDE 는 Hypothetical Document Embeddings 의 약자로, 가상(가설)의 Document를 만들어 RAG Retrieval 성능을 올린 대표적 기법 중 하나입니다. 원문은 아래에서 확인하실 수 있으며 제가 논문을 해석하면서 틀린 부분이나 오류가 있다면 댓글 달아주시면 감사하겠습니다🤗https://arxiv.org/abs/2212.10496 Precise Zero-Shot Dense Retrieval without Relevance LabelsWhile dense retrieval has been shown effective and efficient across tasks and languag..

  • format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
  • · 2024. 7. 29.
  • textsms
[LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰

[LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰

LLM의 대표적인 PEFT 방법인  LoRA입니다.기존의 Fine-tuning과는 달리 일부 parameter만 fine-tuning을 진행하여 FFT(Full Fine-Tuning) 대비 효율적인 파인튜닝을 위해 고안된 방법입니다. Large Scale Model로 접어들면서 파라미터 수가 어마어마하게 커지게 되었고, 그만큼 fine-tuning을 진행하기 위해서 훨씬 더 많은 computing budget이 필요하게 되었죠, 이를 해결하기 위해 pre-train된 모델의 파라미터는 고정시키고 일부 파라미터만을 학습하는 방법입니다. 원문은 아래 링크에서 확인해 볼 수 있습니다.논문을 리뷰하면서 오류나 제가 잘못 해석한 부분이 있다면 댓글 달아주시면 감사합니다. 🤗https://arxiv.org/abs..

  • format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
  • · 2024. 7. 24.
  • textsms
[SMoE] Mixtral of Experts 논문 리뷰

[SMoE] Mixtral of Experts 논문 리뷰

MoE (Mixture of Expert) 기법을 Mistral 모델에 적용한 Mixtral 8*7B 모델을 소개한 논문입니다.최근 MoE 기법이 대두됨과 동시에 Mixture of Expert 에 대한 게시물을 작성해보면서 함께 읽고 정리해보았습니다.잘못 이해한 부분이 있다면 댓글을 통해 오류를 말씀해주시면 감사하겠습니다🤗 논문은 24년 1월 발표되었으며, 원문 링크는 아래에서 확인할 수 있습니다.https://arxiv.org/abs/2401.04088 Mixtral of ExpertsWe introduce Mixtral 8x7B, a Sparse Mixture of Experts (SMoE) language model. Mixtral has the same architecture as Mistra..

  • format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
  • · 2024. 4. 28.
  • textsms
[Augmented LM] Augmented Language Models : a Survey 논문 리뷰

[Augmented LM] Augmented Language Models : a Survey 논문 리뷰

논문은 23년 2월 발표되었으며, 원본 논문은 아래 링크에서 확인할 수 있습니다.본 논문은 Facebook Research 팀 (현 Meta AI) 에서 작성한 Survey 논문입니다.https://arxiv.org/abs/2302.07842 Augmented Language Models: a SurveyThis survey reviews works in which language models (LMs) are augmented with reasoning skills and the ability to use tools. The former is defined as decomposing a potentially complex task into simpler subtasks while the latter c..

  • format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
  • · 2024. 1. 12.
  • textsms