[Transformer] Attention is all you need 논문리뷰

드디어 Attention is all you need 논문을 리뷰하네요. 이제는 NLP task를 넘어 vision 분야에서도 활발히 쓰이지만많이 쓰임에도 불구하고 개인적으로 기초가 잘 다져지지 않으면 이해하기 어려운 논문 중 하나라고 생각합니다.. (제가 말하는 기초는 딥러닝 + 자연어 처리의 극극 기초..) 공교롭게도 저는 nlp task 보다 vision task로 제대로 이 논문을 읽기 시작했던 것 같습니다.. transformer 이론은 우리가 잘 알고있는 Chat GPT 모델에도 탑재가 되어있죠?제가 이해하기 위해 차근차근 정리해보았습니다. 오류나 정정이 필요한 부분은 댓글 달아주시면 감사하겠습니다🫣 논문은 2017년 발행되었으며, 원문은 아래 링크에서 확인하실 수 있습니다.https://a..

• format_list_bulleted AI (인공지능) Paper Review/NLP
• · 2024. 3. 2.
• textsms

RNN(Recurrent Neural Network) & LSTM (Long short term Memory)

본 게시물은 '딥러닝을 이용한 자연어 처리 입문' 도서를 참고하여 정리하였습니다. https://wikidocs.net/book/2155 딥 러닝을 이용한 자연어 처리 입문많은 분들의 피드백으로 수년간 보완된 입문자를 위한 딥 러닝 자연어 처리 교재 E-book입니다. 오프라인 출판물 기준으로 코드 포함 **약 1,000 페이지 이상의 분량*…wikidocs.net  딥러닝 기초를 다시 복습하면서, 꼭 알아야 할 개념들을 정확히 짚고 공부해보고자 자연어 처리 task에서 주로 사용되는 RNN과 LSTM을 복습하여 정리하였습니다. [RNN]RNN 이란? RNN은 Recurrent Neural Network 라고 불리며, 말 그대로 주기적으로 되풀이되거나 반복되는 것을 이용..

• format_list_bulleted 딥러닝 기초/머신러닝 & 딥러닝
• · 2024. 1. 18.
• textsms

[RAG] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 논문 리뷰

RAG는 LLM 모델이 발전함에 있어서 꼭 알아야 할 필수 기능 중 하나입니다.LLM 의 파라미터가 커지고 context window 사이즈가 점점 증가하게 되면서 RAG(Retrieval Augmented Generation) 또한 발전하고 있습니다. Indexing & Retreival 기능을 이용해 학습되지 않은 내용에 대한 query의 답을 외부 Document를 통해 검색하여 답변 생성에 사용하는 것이죠. LLM의 규모가 커지면서 context window 사이즈가 커진다는 것은, 그만큼 참고할 Document의 사이즈도 커질 수 있다는 뜻이 됩니다. 즉, 기존보다 더 많은 Document들을 참고하며 User query에 대한 적절한 답변을 수행할 수 있습니다. 논문은 2020년 5월 발표되었..

• format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
• · 2023. 12. 14.
• textsms