[HyDE] Precise Zero-Shot Dense Retrieval without Relevance Labels 논문 리뷰

이번 논문은 Advanced RAG 의 대표 기법 중 하나인 HyDE에 관한 논문입니다.HyDE 는 Hypothetical Document Embeddings 의 약자로, 가상(가설)의 Document를 만들어 RAG Retrieval 성능을 올린 대표적 기법 중 하나입니다. 원문은 아래에서 확인하실 수 있으며 제가 논문을 해석하면서 틀린 부분이나 오류가 있다면 댓글 달아주시면 감사하겠습니다🤗https://arxiv.org/abs/2212.10496 Precise Zero-Shot Dense Retrieval without Relevance LabelsWhile dense retrieval has been shown effective and efficient across tasks and languag..

• format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
• · 2024. 7. 29.
• textsms

[LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰

LLM의 대표적인 PEFT 방법인  LoRA입니다.기존의 Fine-tuning과는 달리 일부 parameter만 fine-tuning을 진행하여 FFT(Full Fine-Tuning) 대비 효율적인 파인튜닝을 위해 고안된 방법입니다. Large Scale Model로 접어들면서 파라미터 수가 어마어마하게 커지게 되었고, 그만큼 fine-tuning을 진행하기 위해서 훨씬 더 많은 computing budget이 필요하게 되었죠, 이를 해결하기 위해 pre-train된 모델의 파라미터는 고정시키고 일부 파라미터만을 학습하는 방법입니다. 원문은 아래 링크에서 확인해 볼 수 있습니다.논문을 리뷰하면서 오류나 제가 잘못 해석한 부분이 있다면 댓글 달아주시면 감사합니다. 🤗https://arxiv.org/abs..

• format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
• · 2024. 7. 24.
• textsms

[GCP] Qdrant Docker hub 이미지로 DockerFile 없이 Cloud Run 배포하기

🚨 Cloud Run은 상태 비저장 서비스를 위한 플랫폼이기 때문에 Qdrant와 같은 데이터 베이스의 경우 Cloud Run으로 배포하게되면 데이터가 저장되지 않게 됩니다🥲 따라서 본 게시물은 그저 DockerFile 없이 Dockerhub에 업로드 되어 있는 이미지를 불러와 Cloud Run으로 쉽게 배포할 수 있는 방법에 대해서만 참고해 주시면 좋을 것 같습니다!🥹 Google Cloud Platform 에서 Docker hub에 존재하는 이미지라면도커파일없이도 손쉽게 Cloud Run을 통해 배포할 수 있습니다. qdrant 도커 이미지를 데이터베이스로 사용하기 위해 컨테이너를 배포해야 하는데 Dockerfile을 작성해서 하는 튜토리얼밖에 없어서🥲찾고 찾다가 GCP에서 이젠 바로 Dock..

• format_list_bulleted 기타 등등/DevOps
• · 2024. 6. 14.
• textsms

[도서 리뷰] 코드 작성 가이드

본 게시물은 길벗 출판사 24차 개발자 리뷰어로 선정되어 도서를 제공받아 작성하였습니다. 정말 운이 좋게도 23, 24차 연속으로 길벗 개발자 리뷰어로 선정되어 도서를 리뷰해 볼 수 있었습니다!🥺이번 도서는 e-book으로 제공받아 읽어보았습니다😄  본 도서는 아래 목차를 기반으로 설명이 이뤄집니다.가독성 높은 코드를 위한 요건과 주의점, 활용하기 쉬운 프로그래밍 원칙네이밍 방법 및 클래스간의 의존 관계까지 실무에서 어떻게 적용할지?코드 리뷰의 진행 방법과 가이드 제시나쁜 코드, 좋은 코드를 예시로 어떻게 개선하는지코틀린 위주의 설명이지만, 객체 지향 언어 사용 경험이 있다면 이해할 수 있도록 구성 파이썬을 이용한 어플리케이션 개발 서비스를 제작하는 프로젝트를 진행중에 있습니다.제대로 된 개발 프로젝..

• format_list_bulleted 도서 리뷰
• · 2024. 5. 19.
• textsms

[GDG] Build with AI United 2024 후기

안녕하세요!오늘은 지난 4월 27일 진행되었던 Google Developer Group의 Build with AI 2024 컨퍼런스 후기를 들고왔습니다🥹 평소에 LLM에 관심이 있고, 재밌는 세션들로 구성된 것 같아얼리버드로 참가신청하여 다녀왔습니다ㅎㅎ  위와 같이 Technical Talk과 Hands-on 세션으로 분류되어 진행되었는데요!저는 오전에 정처기 시험을 응시하고 후다닥 강남으로 넘어가야했기에 첫 번째 세션을 제외하고 들을 수 있었습니다🥲 처음에 테크톡 세션에서 시작해서 듣다보니, 주제들이 핸즈온세션보다 더 재밌을 것 같아 결국 끝까지 테크톡 세션에서 모든 강의를 듣게 되었습니다 ㅎㅎ; 핸즈온 세션들도 너무너무 재미있는 주제들이긴 하지만 사실 RAG나 앱 배포와 같은 내용들이 현재 진행하..

• format_list_bulleted 후기 및 회고💦
• · 2024. 5. 13.
• textsms

[BERT] Pre-training of Deep Bidirectional Transformers for Language Understanding 논문리뷰

안녕하세요, 이번 논문리뷰는 BERT 리뷰입니다.BERT 모델도  Transformer architecture을 따르는 대표적이고 유명한 Encoder-only 모델 중 하나이죠.아직도 fine-tuning task에서 많이 쓰이고 있는 것 같아 프로젝트를 위해 fine-tuning을 진행해보면서함께 읽고 리뷰해보았습니다. 모르는 개념이나 문장은 claude.ai 와 함께 읽고 공부하였습니다.부족한 부분이 많을 수 있으니 논문 리뷰에 대한 오류나 오탈이 있다면 언제든 댓글로 정정해주시면 감사하겠습니다.🤗 본 논문은 Google AI Language 팀에서 발표하였으며,2018년 10월 발표되었습니다. 원문은 아래 링크에서 확인하실 수 있습니다. https://arxiv.org/abs/1810.04805..

• format_list_bulleted AI (인공지능) Paper Review/NLP
• · 2024. 5. 12.
• textsms