[가짜연구소 On-Device #1] Structured Pruning & Unstructured Pruning

Pruning vs Dropout?추론 중에 Dropout은 가중치가 복원되지만, Pruning은 복원되지 않음. Unstructured PruningNetwork Optimization Technique 중 하나 (크기나 중요성에 따라 각각의 가중치를 제거하는 기술)네트워크에서 낮은 크기의 가중치를 0으로 설정하는 것으로 일부 연결을 끄고 그 효과를 무시하는 것과 같음개별 가중치 요소들을 선택적으로 0으로 설정 (제거)하여 sparse 매트릭스(행렬)을 만드는 방식모델의 전반적인 아키텍처 (레이어 크기)는 바뀌지 않고, 단지 가중치 행렬 내에 0이 많이 삽입되어 희소 행렬(sparse matrcis)로 변할 뿐입력과 가중치 행렬의 출력 모양을 변경하는 결과를 낳음전체 뉴런이나 필터의 구성을 제거하는 s..