안녕하세요, 이번 논문리뷰는 BERT 리뷰입니다.BERT 모델도 Transformer architecture을 따르는 대표적이고 유명한 Encoder-only 모델 중 하나이죠.아직도 fine-tuning task에서 많이 쓰이고 있는 것 같아 프로젝트를 위해 fine-tuning을 진행해보면서함께 읽고 리뷰해보았습니다. 모르는 개념이나 문장은 claude.ai 와 함께 읽고 공부하였습니다.부족한 부분이 많을 수 있으니 논문 리뷰에 대한 오류나 오탈이 있다면 언제든 댓글로 정정해주시면 감사하겠습니다.🤗 본 논문은 Google AI Language 팀에서 발표하였으며,2018년 10월 발표되었습니다. 원문은 아래 링크에서 확인하실 수 있습니다. https://arxiv.org/abs/1810.04805..
논문은 23년 2월 발표되었으며, 원본 논문은 아래 링크에서 확인할 수 있습니다. 본 논문은 Facebook Research 팀 (현 Meta AI) 에서 작성한 Survey 논문입니다. https://arxiv.org/abs/2302.07842 Augmented Language Models: a Survey This survey reviews works in which language models (LMs) are augmented with reasoning skills and the ability to use tools. The former is defined as decomposing a potentially complex task into simpler subtasks while the latte..
LLM 공부를 시작하다보면 RAG (Retrieval Augmented Generation) 이라는 용어가 자주 등장하게 된다. RAG model은 검색 증강 생성 방식을 통해 외부 Document에서 가져온 정보를 통해 LM 모델의 성능과 정확도를 향상시키는 방법 중 하나이다. 챗 GPT와 같은 Generate LM들이 보다 정확한 정보를 제공할 수 있도록 정확도를 향상시킬 수 있는 방법이라고 보면 될 것 같다. 논문은 2020년 5월 발표되었으며, 원문 링크는 아래에서 확인할 수 있다. https://arxiv.org/abs/2005.11401 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Large pre-trained langu..