[가짜연구소 On-Device #1] Structured Pruning & Unstructured Pruning

Pruning vs Dropout?추론 중에 Dropout은 가중치가 복원되지만, Pruning은 복원되지 않음. Unstructured PruningNetwork Optimization Technique 중 하나 (크기나 중요성에 따라 각각의 가중치를 제거하는 기술)네트워크에서 낮은 크기의 가중치를 0으로 설정하는 것으로 일부 연결을 끄고 그 효과를 무시하는 것과 같음개별 가중치 요소들을 선택적으로 0으로 설정 (제거)하여 sparse 매트릭스(행렬)을 만드는 방식모델의 전반적인 아키텍처 (레이어 크기)는 바뀌지 않고, 단지 가중치 행렬 내에 0이 많이 삽입되어 희소 행렬(sparse matrcis)로 변할 뿐입력과 가중치 행렬의 출력 모양을 변경하는 결과를 낳음전체 뉴런이나 필터의 구성을 제거하는 s..

• format_list_bulleted 후기 및 회고💦
• · 2025. 3. 21.
• textsms

[가짜연구소] 10기 러너 시작! 🔥

여느날과 다름없이 링크드인을 탐색하던 중..가짜연구소에서 여러가지 프로젝트들을 진행할 예정이라는 것을 보고Agent를 비롯한 다양한 주제들을 선보이길래 후다닥 지원해보았다. 무려 300명이 넘는 인원이 지원했다고 했는데 한 2/3 정도의 인원이 함께 진행하시는 것 같다..! 회사 업무를 진행하면서 혼자 공부하기 특히 어려웠던 분야라고 생각되는 온디바이스 분야에 대한스터디를 진행하는 주제가 있어 해당 내용으로 참여해보았다.결국 AI를 하드웨어까지 진행하게 되면 온디바이스는 곧 필수불가결하지 않을까.. 싶다. 사실 또 온디바이스는도메인과 상관없이 최최최최종엔 다 적용되어 있지 않을까..?! https://github.com/Pseudo-Lab/On-Device-AI_On-The-AIr GitHub - Pse..

• format_list_bulleted 후기 및 회고💦
• · 2025. 3. 7.
• textsms