Gemma2-ko-9B Model 법률 데이터셋 Law-QA-Dataset Fine tuning 파인 튜닝

Gemma2-ko-9B 모델을 법률 QA 셋에 대해 Fine-tuning 진행 해 보았습니다.허깅페이스의 trl, peft 라이브러리를 사용하여 LoRA, SFT Tuning을 진행하였습니다.  LoRA에 대한 개념을 모르시는 분은 아래 게시물을 참고해주세요🙌2024.07.24 - [AI (인공지능) Paper Review/Gen AI (Large Model)] - [LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰 [LoRA] Low-Rank Adaptation of Large Language Models 논문 리뷰LLM의 대표적인 PEFT 방법인  LoRA입니다.기존의 Fine-tuning과는 달리 일부 parameter만 fine-tuning을 ..

• format_list_bulleted LLM/PlayGround
• · 2024. 9. 30.
• textsms

[BERT] Pre-training of Deep Bidirectional Transformers for Language Understanding 논문리뷰

안녕하세요, 이번 논문리뷰는 BERT 리뷰입니다.BERT 모델도  Transformer architecture을 따르는 대표적이고 유명한 Encoder-only 모델 중 하나이죠.아직도 fine-tuning task에서 많이 쓰이고 있는 것 같아 프로젝트를 위해 fine-tuning을 진행해보면서함께 읽고 리뷰해보았습니다. 모르는 개념이나 문장은 claude.ai 와 함께 읽고 공부하였습니다.부족한 부분이 많을 수 있으니 논문 리뷰에 대한 오류나 오탈이 있다면 언제든 댓글로 정정해주시면 감사하겠습니다.🤗 본 논문은 Google AI Language 팀에서 발표하였으며,2018년 10월 발표되었습니다. 원문은 아래 링크에서 확인하실 수 있습니다. https://arxiv.org/abs/1810.04805..

• format_list_bulleted AI (인공지능) Paper Review/NLP
• · 2024. 5. 12.
• textsms