[Transformer] Attention is all you need 논문리뷰

드디어 Attention is all you need 논문을 리뷰하네요. 이제는 NLP task를 넘어 vision 분야에서도 활발히 쓰이지만많이 쓰임에도 불구하고 개인적으로 기초가 잘 다져지지 않으면 이해하기 어려운 논문 중 하나라고 생각합니다.. (제가 말하는 기초는 딥러닝 + 자연어 처리의 극극 기초..) 공교롭게도 저는 nlp task 보다 vision task로 제대로 이 논문을 읽기 시작했던 것 같습니다.. transformer 이론은 우리가 잘 알고있는 Chat GPT 모델에도 탑재가 되어있죠?제가 이해하기 위해 차근차근 정리해보았습니다. 오류나 정정이 필요한 부분은 댓글 달아주시면 감사하겠습니다🫣 논문은 2017년 발행되었으며, 원문은 아래 링크에서 확인하실 수 있습니다.https://a..

• format_list_bulleted AI (인공지능) Paper Review/NLP
• · 2024. 3. 2.
• textsms

RNN(Recurrent Neural Network) & LSTM (Long short term Memory)

본 게시물은 '딥러닝을 이용한 자연어 처리 입문' 도서를 참고하여 정리하였습니다. https://wikidocs.net/book/2155 딥 러닝을 이용한 자연어 처리 입문많은 분들의 피드백으로 수년간 보완된 입문자를 위한 딥 러닝 자연어 처리 교재 E-book입니다. 오프라인 출판물 기준으로 코드 포함 **약 1,000 페이지 이상의 분량*…wikidocs.net  딥러닝 기초를 다시 복습하면서, 꼭 알아야 할 개념들을 정확히 짚고 공부해보고자 자연어 처리 task에서 주로 사용되는 RNN과 LSTM을 복습하여 정리하였습니다. [RNN]RNN 이란? RNN은 Recurrent Neural Network 라고 불리며, 말 그대로 주기적으로 되풀이되거나 반복되는 것을 이용..

• format_list_bulleted 딥러닝 기초/머신러닝 & 딥러닝
• · 2024. 1. 18.
• textsms