[BERT] Pre-training of Deep Bidirectional Transformers for Language Understanding 논문리뷰

안녕하세요, 이번 논문리뷰는 BERT 리뷰입니다.BERT 모델도  Transformer architecture을 따르는 대표적이고 유명한 Encoder-only 모델 중 하나이죠.아직도 fine-tuning task에서 많이 쓰이고 있는 것 같아 프로젝트를 위해 fine-tuning을 진행해보면서함께 읽고 리뷰해보았습니다. 모르는 개념이나 문장은 claude.ai 와 함께 읽고 공부하였습니다.부족한 부분이 많을 수 있으니 논문 리뷰에 대한 오류나 오탈이 있다면 언제든 댓글로 정정해주시면 감사하겠습니다.🤗 본 논문은 Google AI Language 팀에서 발표하였으며,2018년 10월 발표되었습니다. 원문은 아래 링크에서 확인하실 수 있습니다. https://arxiv.org/abs/1810.04805..

• format_list_bulleted NLP
• · 2024. 5. 12.
• textsms

[Augmented LM] Augmented Language Models : a Survey 논문 리뷰

논문은 23년 2월 발표되었으며, 원본 논문은 아래 링크에서 확인할 수 있습니다.본 논문은 Facebook Research 팀 (현 Meta AI) 에서 작성한 Survey 논문입니다.https://arxiv.org/abs/2302.07842 Augmented Language Models: a SurveyThis survey reviews works in which language models (LMs) are augmented with reasoning skills and the ability to use tools. The former is defined as decomposing a potentially complex task into simpler subtasks while the latter c..

• format_list_bulleted Gen AI (Large Model)
• · 2024. 1. 12.
• textsms

[RAG] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 논문 리뷰

RAG는 LLM 모델이 발전함에 있어서 꼭 알아야 할 필수 기능 중 하나입니다.LLM 의 파라미터가 커지고 context window 사이즈가 점점 증가하게 되면서 RAG(Retrieval Augmented Generation) 또한 발전하고 있습니다. Indexing & Retreival 기능을 이용해 학습되지 않은 내용에 대한 query의 답을 외부 Document를 통해 검색하여 답변 생성에 사용하는 것이죠. LLM의 규모가 커지면서 context window 사이즈가 커진다는 것은, 그만큼 참고할 Document의 사이즈도 커질 수 있다는 뜻이 됩니다. 즉, 기존보다 더 많은 Document들을 참고하며 User query에 대한 적절한 답변을 수행할 수 있습니다. 논문은 2020년 5월 발표되었..

• format_list_bulleted Gen AI (Large Model)
• · 2023. 12. 14.
• textsms