[GDG] Build with AI United 2024 후기

안녕하세요!오늘은 지난 4월 27일 진행되었던 Google Developer Group의 Build with AI 2024 컨퍼런스 후기를 들고왔습니다🥹 평소에 LLM에 관심이 있고, 재밌는 세션들로 구성된 것 같아얼리버드로 참가신청하여 다녀왔습니다ㅎㅎ  위와 같이 Technical Talk과 Hands-on 세션으로 분류되어 진행되었는데요!저는 오전에 정처기 시험을 응시하고 후다닥 강남으로 넘어가야했기에 첫 번째 세션을 제외하고 들을 수 있었습니다🥲 처음에 테크톡 세션에서 시작해서 듣다보니, 주제들이 핸즈온세션보다 더 재밌을 것 같아 결국 끝까지 테크톡 세션에서 모든 강의를 듣게 되었습니다 ㅎㅎ; 핸즈온 세션들도 너무너무 재미있는 주제들이긴 하지만 사실 RAG나 앱 배포와 같은 내용들이 현재 진행하..

• format_list_bulleted 후기 및 회고💦
• · 2024. 5. 13.
• textsms

[BERT] Pre-training of Deep Bidirectional Transformers for Language Understanding 논문리뷰

안녕하세요, 이번 논문리뷰는 BERT 리뷰입니다.BERT 모델도  Transformer architecture을 따르는 대표적이고 유명한 Encoder-only 모델 중 하나이죠.아직도 fine-tuning task에서 많이 쓰이고 있는 것 같아 프로젝트를 위해 fine-tuning을 진행해보면서함께 읽고 리뷰해보았습니다. 모르는 개념이나 문장은 claude.ai 와 함께 읽고 공부하였습니다.부족한 부분이 많을 수 있으니 논문 리뷰에 대한 오류나 오탈이 있다면 언제든 댓글로 정정해주시면 감사하겠습니다.🤗 본 논문은 Google AI Language 팀에서 발표하였으며,2018년 10월 발표되었습니다. 원문은 아래 링크에서 확인하실 수 있습니다. https://arxiv.org/abs/1810.04805..

• format_list_bulleted AI (인공지능) Paper Review/NLP
• · 2024. 5. 12.
• textsms

[SMoE] Mixtral of Experts 논문 리뷰

MoE (Mixture of Expert) 기법을 Mistral 모델에 적용한 Mixtral 8*7B 모델을 소개한 논문입니다.최근 MoE 기법이 대두됨과 동시에 Mixture of Expert 에 대한 게시물을 작성해보면서 함께 읽고 정리해보았습니다.잘못 이해한 부분이 있다면 댓글을 통해 오류를 말씀해주시면 감사하겠습니다🤗 논문은 24년 1월 발표되었으며, 원문 링크는 아래에서 확인할 수 있습니다.https://arxiv.org/abs/2401.04088 Mixtral of ExpertsWe introduce Mixtral 8x7B, a Sparse Mixture of Experts (SMoE) language model. Mixtral has the same architecture as Mistra..

• format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
• · 2024. 4. 28.
• textsms

Encoder Decoder Language Models

Encoder, Decoder, Encoder-Decoder 모델에 대한 정의가 헷갈려서 정리하기 위해 작성하였습니다.보시면서 오류가 있거나 잘못된 부분이 있다면 댓글을 통해 알려주시면 감사하겠습니다.🤗 Deeplearning.AI의 GenAI with LLM 강의를 통해 습득한 내용을 정리하였습니다. 본 게시물에서 의미하는 Encoder, Decoder의 의미는Transformer 논문 (Attention is all you need)에 소개된 Transformer 로직의 Encoder, Decoder를 의미합니다.즉, tranduction model에서의 Encoder, Decoder 입니다.Encoder Only = Auto Encoding Model을 의미합니다.주로 masked language..

• format_list_bulleted 딥러닝 기초/머신러닝 & 딥러닝
• · 2024. 4. 25.
• textsms

포스코 청년 IT 전문가 아카데미 8기 면접 후기

면접 결과와는 별개로 저는 개인적으로 좋은 경험이라 느꼈기에 회고록 느낌으로 작성합니다. 명목은 IT 전문가 양성 아카데미로 되어 있지만, 사실상은 DX 신입사원 채용과정이 맞는 것 같습니다. (최근 DX에서 경력직 외에 채용 공고를 안내고 있기도 하구요..) SW 직무인 만큼 JAVA 역량을 원하기도 하고, 그 중에서도 백엔드 지식이 기본적으로 필요하다고 느꼈습니다. 그리고 교육기관인 비트교육센터에서 추구하는 교육방식이 그렇다고 느껴졌습니다. 특정 태스크 개발자가 되기 이전에 하드 코딩 베이스가 되는 개발자를 원하십니다.. (적고 보니 당연한 말인 것 같네요) 이 과정으로 채용되기 위해선 먼저 비트교육센터라는 큰 벽을 넘어야 합니다.. 생각보다 지원자 분들이 많았던 것 같습니다. (시간대별로 나눠서 아..

• format_list_bulleted 후기 및 회고💦
• · 2024. 4. 22.
• textsms

[git] 깃 따라하기 1 / git repository 연결

git 은 개발자들 사이에서 많이 쓰이는 버전관리시스템(협업 툴) 중 하나입니다. 깃을 처음 접하다 보면.. (비전공자인 나처럼.. 코딩이 뭔지 몰라 할 줄 몰랐던 나처럼..) git push.. commit.. repository ... 등 엄청난 용어 공격에 정신이 혼미해지죠... 그런 분들을 위해 제가 이해한 대로 내용을 구성해 보았으니 포기하지 말고 천천히 익혀보시길 바랍니다!🥺 (git 계정은 모두 생성 완료했다고 가정하고 설명하도록 하겠습니다!) 깃을 이용하는 방법은 여러 가지가 있습니다. 소스트리라는 툴을 이용하는 방법... VS code의 Extension을 이용하는 방법... Git 사이트 자체에서 업로드 하는 방법 등... 저는 가장 기초적이고도 쉬운 터미널, 사이트를 통해 깃을 이용하..

• format_list_bulleted 기타 등등/Git
• · 2024. 4. 17.
• textsms