[BERT] Pre-training of Deep Bidirectional Transformers for Language Understanding 논문리뷰

안녕하세요, 이번 논문리뷰는 BERT 리뷰입니다.BERT 모델도  Transformer architecture을 따르는 대표적이고 유명한 Encoder-only 모델 중 하나이죠.아직도 fine-tuning task에서 많이 쓰이고 있는 것 같아 프로젝트를 위해 fine-tuning을 진행해보면서함께 읽고 리뷰해보았습니다. 모르는 개념이나 문장은 claude.ai 와 함께 읽고 공부하였습니다.부족한 부분이 많을 수 있으니 논문 리뷰에 대한 오류나 오탈이 있다면 언제든 댓글로 정정해주시면 감사하겠습니다.🤗 본 논문은 Google AI Language 팀에서 발표하였으며,2018년 10월 발표되었습니다. 원문은 아래 링크에서 확인하실 수 있습니다. https://arxiv.org/abs/1810.04805..

• format_list_bulleted AI (인공지능) Paper Review/NLP
• · 2024. 5. 12.
• textsms

[Transformer] Attention is all you need 논문리뷰

드디어 Attention is all you need 논문을 리뷰하네요. 이제는 NLP task를 넘어 vision 분야에서도 활발히 쓰이지만많이 쓰임에도 불구하고 개인적으로 기초가 잘 다져지지 않으면 이해하기 어려운 논문 중 하나라고 생각합니다.. (제가 말하는 기초는 딥러닝 + 자연어 처리의 극극 기초..) 공교롭게도 저는 nlp task 보다 vision task로 제대로 이 논문을 읽기 시작했던 것 같습니다.. transformer 이론은 우리가 잘 알고있는 Chat GPT 모델에도 탑재가 되어있죠?제가 이해하기 위해 차근차근 정리해보았습니다. 오류나 정정이 필요한 부분은 댓글 달아주시면 감사하겠습니다🫣 논문은 2017년 발행되었으며, 원문은 아래 링크에서 확인하실 수 있습니다.https://a..

• format_list_bulleted AI (인공지능) Paper Review/NLP
• · 2024. 3. 2.
• textsms