Encoder Decoder Language Models

Encoder, Decoder, Encoder-Decoder 모델에 대한 정의가 헷갈려서 정리하기 위해 작성하였습니다.보시면서 오류가 있거나 잘못된 부분이 있다면 댓글을 통해 알려주시면 감사하겠습니다.🤗 Deeplearning.AI의 GenAI with LLM 강의를 통해 습득한 내용을 정리하였습니다. 본 게시물에서 의미하는 Encoder, Decoder의 의미는Transformer 논문 (Attention is all you need)에 소개된 Transformer 로직의 Encoder, Decoder를 의미합니다.즉, tranduction model에서의 Encoder, Decoder 입니다.Encoder Only = Auto Encoding Model을 의미합니다.주로 masked language..

• format_list_bulleted 딥러닝 기초/머신러닝 & 딥러닝
• · 2024. 4. 25.
• textsms

CNN(Convolution Neural Network)

본 게시물은 LGaimers 4기 Module 6의 주재걸 교수님의 딥러닝 강의를 수강 후 요약하였으며, 추가적인 자료는 Google, Arxiv 등에서 검색하였습니다.아 주재걸 교수님 CNN 강의듣고 드디어 묵은 체증이 싹 가신 느낌인턴하면서 CV 프로젝트들을 위주로 많이 진행하고 또 겪어왔지만, 솔직히 옆에서 무슨 말들을 하는지 감으로만 알아들었지 정확히 알아듣진 못했는데(...) (감으로만 이해하고 있었다는 뜻... 아무래도 CV 를 3일만에 배웠으니까....)Aimers강의를 들어가면서 머신러닝 딥러닝 개념부터 시작해서 다시 기초를 쌓으니 뭔가 좀 이해가 가는 생각에 너무 기뻐서 CNN 개념을 함께 정의... 공부해보고자 들고왔습니다 ^__^ vVㅎㅎ (이제 드디어 논문을 이해해가며 읽..

• format_list_bulleted 딥러닝 기초/머신러닝 & 딥러닝
• · 2024. 3. 2.
• textsms

[머신러닝] Bias and Variance

본 게시물은 LG aimers 과정에서 서울대학교 김건희 교수님의 Machine Learning 개론 강좌를 참고로 정리하였습니다. Type of Learning Supervised Learning (지도학습) 기계 학습 알고리즘에 input에 따라 어떤 output이 나와야 하는지 알려주는 알고리즘 Classification / Regression Unsupervised Learning (비지도 학습) Clustering Anomaly Detection Density Estimation 데이터상에서 특이한 것을 걸러 낼 때 (Outlier, anomaly ....) Semi-Supervised Learning 학습 데이터들을 줄 때 몇몇 데이터들은 x, y를 모두 주고 몇몇 데이터들은 x만 주는 경우 ..

• format_list_bulleted 딥러닝 기초/머신러닝 & 딥러닝
• · 2024. 1. 18.
• textsms

RNN(Recurrent Neural Network) & LSTM (Long short term Memory)

본 게시물은 '딥러닝을 이용한 자연어 처리 입문' 도서를 참고하여 정리하였습니다. https://wikidocs.net/book/2155 딥 러닝을 이용한 자연어 처리 입문많은 분들의 피드백으로 수년간 보완된 입문자를 위한 딥 러닝 자연어 처리 교재 E-book입니다. 오프라인 출판물 기준으로 코드 포함 **약 1,000 페이지 이상의 분량*…wikidocs.net  딥러닝 기초를 다시 복습하면서, 꼭 알아야 할 개념들을 정확히 짚고 공부해보고자 자연어 처리 task에서 주로 사용되는 RNN과 LSTM을 복습하여 정리하였습니다. [RNN]RNN 이란? RNN은 Recurrent Neural Network 라고 불리며, 말 그대로 주기적으로 되풀이되거나 반복되는 것을 이용..

• format_list_bulleted 딥러닝 기초/머신러닝 & 딥러닝
• · 2024. 1. 18.
• textsms