[가짜연구소 On-Device #1] Structured Pruning & Unstructured Pruning

Pruning vs Dropout?추론 중에 Dropout은 가중치가 복원되지만, Pruning은 복원되지 않음. Unstructured PruningNetwork Optimization Technique 중 하나 (크기나 중요성에 따라 각각의 가중치를 제거하는 기술)네트워크에서 낮은 크기의 가중치를 0으로 설정하는 것으로 일부 연결을 끄고 그 효과를 무시하는 것과 같음개별 가중치 요소들을 선택적으로 0으로 설정 (제거)하여 sparse 매트릭스(행렬)을 만드는 방식모델의 전반적인 아키텍처 (레이어 크기)는 바뀌지 않고, 단지 가중치 행렬 내에 0이 많이 삽입되어 희소 행렬(sparse matrcis)로 변할 뿐입력과 가중치 행렬의 출력 모양을 변경하는 결과를 낳음전체 뉴런이나 필터의 구성을 제거하는 s..

• format_list_bulleted 후기 및 회고💦
• · 2025. 3. 21.
• textsms

[Lost in the Middle] How Language Models Use Long Contexts 논문 리뷰

RAG가 한창 유행일 당시 (지금도 여전히...)Long Context 사이즈의 모델의 필요성이 대두되었고, 모델이 새로 개발됨에 따라 긴 길이의 Context를 수용할 수 있는 모델들이 등장하곤 했습니다. 위 논문은 긴 Context가 들어왔을 때 모델이 문맥의 앞, 뒤는 이해를 하지만 중간 내용은 소실할 수 있는 부분에 대해 다룬 논문입니다. 원문은 아래 링크에서 확인하실 수 있으며, 리뷰 내용에 잘못된 부분이나 오탈자가 있다면 언제든 댓글 달아주시길 바랍니다!🙌https://arxiv.org/abs/2307.03172 Lost in the Middle: How Language Models Use Long ContextsWhile recent language models have the abilit..

• format_list_bulleted Gen AI (Large Model)
• · 2025. 3. 21.
• textsms

[가짜연구소] 10기 러너 시작! 🔥

여느날과 다름없이 링크드인을 탐색하던 중..가짜연구소에서 여러가지 프로젝트들을 진행할 예정이라는 것을 보고Agent를 비롯한 다양한 주제들을 선보이길래 후다닥 지원해보았다. 무려 300명이 넘는 인원이 지원했다고 했는데 한 2/3 정도의 인원이 함께 진행하시는 것 같다..! 회사 업무를 진행하면서 혼자 공부하기 특히 어려웠던 분야라고 생각되는 온디바이스 분야에 대한스터디를 진행하는 주제가 있어 해당 내용으로 참여해보았다.결국 AI를 하드웨어까지 진행하게 되면 온디바이스는 곧 필수불가결하지 않을까.. 싶다. 사실 또 온디바이스는도메인과 상관없이 최최최최종엔 다 적용되어 있지 않을까..?! https://github.com/Pseudo-Lab/On-Device-AI_On-The-AIr GitHub - Pse..

• format_list_bulleted 후기 및 회고💦
• · 2025. 3. 7.
• textsms

로컬 LLM 프롬프트 디버깅을 위한 프롬프터 A/B 테스터 제작기 with Streamlit

https://github.com/architectyou/prompt-tester.git GitHub - architectyou/prompt-tester: A local LLM prompt testing tool inspired by LangSmith playground. Built with streamlit, thiA local LLM prompt testing tool inspired by LangSmith playground. Built with streamlit, this tool allows you to compare two different prompt versions or test a single prompt multiple times. - archi...github.com왜 랭스미스를 안쓰..

• format_list_bulleted PlayGround
• · 2025. 2. 23.
• textsms

마르코프 결정과정 (Markov Decision Process, MDP)

개요에이전트는 상황이 변하는 것을 고려하여 최선의 수를 두어야 함.Agent의 상황 = State (현재 상태)눈 앞의 보상이 아니라 미래에 얻을 수 있는 보상의 총 합을 고려해야 함. (보상의 총합을 극대화)상태 $s_t$에서 행동 $a_t$를 취했을 때 얻을 수 있는 보상 $r_{t+1}$, 다음 상태 $s_{t+1}$ 마르코프 성질현재의 정보만 고려하는 성질 (어떤 상태들을 거쳐왔고, 어떤 행동들을 취해왔는지는 신경쓰지 않음.)MDP는 마르코프 성질을 만족한다고 가정하고 상태전이와 보상을 모델링 PolicyAgent가 행동을 결정하는 방식환경에 대해 필요한 정보는 모두 현재 상태에 있음. (MDP)결정적 정책 $\mu(s) = a$확률적 정책 $\pi(a|s)$ Agent는 정책에 따라 행동하며, ..

• format_list_bulleted Reinforcement Learning
• · 2025. 2. 14.
• textsms

조금 늦은 감이 있지만 2024년 회고록

조금 늦은 감이 있지만 2024년 회고록 작성합니다.2024년은 정말 다사다난했습니다.마치 앞만 보고 달리는 경주마처럼 성장과 배움에 목말라있던 한 해 였습니다. 불안함과 긴장속에서 스스로를 마구 채찍질 해 온 것 같습니다.숙원사업이었던 취업도 했구요. 이제 드디어 사회에 한 발을 내딛은 것 같습니다.2023년 12월 인공지능연구원에서 연구원 전환이 되지 못하고 연장된 인턴신분으로 계약을 종료하게 되었을때, 2024년 앞으로가 막막했습니다.어떻게 시작해야할 지 몰랐거든요. 더 깊은 공부가 필요하다고 생각되어 대학원도 알아보기도 하고, 여기저기 취업 원서도 넣어봤습니다.제게 돌아온 건 서류 탈락…읽지 않은 메일..24년도 초반은 그렇게 어둡고 막막한 상반기를 보낸 것 같아요.연구원 재직 당시 팀장님께 들은..

• format_list_bulleted 후기 및 회고💦
• · 2025. 2. 2.
• textsms