[가짜연구소 On-Device #1] Structured Pruning & Unstructured Pruning

Pruning vs Dropout?추론 중에 Dropout은 가중치가 복원되지만, Pruning은 복원되지 않음. Unstructured PruningNetwork Optimization Technique 중 하나 (크기나 중요성에 따라 각각의 가중치를 제거하는 기술)네트워크에서 낮은 크기의 가중치를 0으로 설정하는 것으로 일부 연결을 끄고 그 효과를 무시하는 것과 같음개별 가중치 요소들을 선택적으로 0으로 설정 (제거)하여 sparse 매트릭스(행렬)을 만드는 방식모델의 전반적인 아키텍처 (레이어 크기)는 바뀌지 않고, 단지 가중치 행렬 내에 0이 많이 삽입되어 희소 행렬(sparse matrcis)로 변할 뿐입력과 가중치 행렬의 출력 모양을 변경하는 결과를 낳음전체 뉴런이나 필터의 구성을 제거하는 s..

• format_list_bulleted 후기 및 회고💦
• · 2025. 3. 21.
• textsms

[가짜연구소] 10기 러너 시작! 🔥

여느날과 다름없이 링크드인을 탐색하던 중..가짜연구소에서 여러가지 프로젝트들을 진행할 예정이라는 것을 보고Agent를 비롯한 다양한 주제들을 선보이길래 후다닥 지원해보았다. 무려 300명이 넘는 인원이 지원했다고 했는데 한 2/3 정도의 인원이 함께 진행하시는 것 같다..! 회사 업무를 진행하면서 혼자 공부하기 특히 어려웠던 분야라고 생각되는 온디바이스 분야에 대한스터디를 진행하는 주제가 있어 해당 내용으로 참여해보았다.결국 AI를 하드웨어까지 진행하게 되면 온디바이스는 곧 필수불가결하지 않을까.. 싶다. 사실 또 온디바이스는도메인과 상관없이 최최최최종엔 다 적용되어 있지 않을까..?! https://github.com/Pseudo-Lab/On-Device-AI_On-The-AIr GitHub - Pse..

• format_list_bulleted 후기 및 회고💦
• · 2025. 3. 7.
• textsms

조금 늦은 감이 있지만 2024년 회고록

조금 늦은 감이 있지만 2024년 회고록 작성합니다.2024년은 정말 다사다난했습니다.마치 앞만 보고 달리는 경주마처럼 성장과 배움에 목말라있던 한 해 였습니다. 불안함과 긴장속에서 스스로를 마구 채찍질 해 온 것 같습니다.숙원사업이었던 취업도 했구요. 이제 드디어 사회에 한 발을 내딛은 것 같습니다.2023년 12월 인공지능연구원에서 연구원 전환이 되지 못하고 연장된 인턴신분으로 계약을 종료하게 되었을때, 2024년 앞으로가 막막했습니다.어떻게 시작해야할 지 몰랐거든요. 더 깊은 공부가 필요하다고 생각되어 대학원도 알아보기도 하고, 여기저기 취업 원서도 넣어봤습니다.제게 돌아온 건 서류 탈락…읽지 않은 메일..24년도 초반은 그렇게 어둡고 막막한 상반기를 보낸 것 같아요.연구원 재직 당시 팀장님께 들은..

• format_list_bulleted 후기 및 회고💦
• · 2025. 2. 2.
• textsms

2024 서울 프롬프톤 후기 및 회고

프롬프톤 회고.... 라고 쓰고 적는 개발 일지... 사실 프롬프톤이 끝난건 7월 중순이었는데 (ㅋㅋ..)블로그를 한동안 못쓰기도 했었고 그 동안 또 배운것도 많고 많은 일들도 있었지만그래도 더 늦어서 까먹어버리기 전에 회고록은 써야겠다 생각해서 뒤늦게... 기억을 더듬더듬 .. 더듬어 ... 작성함다🥲  어쩌다가?서울프롬프톤은 서울디지털재단과 구글 클라우드에서 공동주관하였고,나는 프로젝트형 부트캠프 팀원들과 함께 생성형 AI 관련 프로젝트를 막 시작하려던 참...멘토님께서 개발기간이 비슷하니 한번 참여해보라고 권유해주셨다. (근데 사실 이거전에도 경기도에서 하는 생성형 AI 대회 참가하자고 했는데 아무도 신청안해서 못했음 ㅎ;) 우리가 프로젝트를 막 계획하고 시작한건 5월 초부터, 부캠이 끝나는 시기..

• format_list_bulleted 후기 및 회고💦
• · 2024. 9. 8.
• textsms

[GDG] Build with AI United 2024 후기

안녕하세요!오늘은 지난 4월 27일 진행되었던 Google Developer Group의 Build with AI 2024 컨퍼런스 후기를 들고왔습니다🥹 평소에 LLM에 관심이 있고, 재밌는 세션들로 구성된 것 같아얼리버드로 참가신청하여 다녀왔습니다ㅎㅎ  위와 같이 Technical Talk과 Hands-on 세션으로 분류되어 진행되었는데요!저는 오전에 정처기 시험을 응시하고 후다닥 강남으로 넘어가야했기에 첫 번째 세션을 제외하고 들을 수 있었습니다🥲 처음에 테크톡 세션에서 시작해서 듣다보니, 주제들이 핸즈온세션보다 더 재밌을 것 같아 결국 끝까지 테크톡 세션에서 모든 강의를 듣게 되었습니다 ㅎㅎ; 핸즈온 세션들도 너무너무 재미있는 주제들이긴 하지만 사실 RAG나 앱 배포와 같은 내용들이 현재 진행하..

• format_list_bulleted 후기 및 회고💦
• · 2024. 5. 13.
• textsms

포스코 청년 IT 전문가 아카데미 8기 면접 후기

면접 결과와는 별개로 저는 개인적으로 좋은 경험이라 느꼈기에 회고록 느낌으로 작성합니다. 명목은 IT 전문가 양성 아카데미로 되어 있지만, 사실상은 DX 신입사원 채용과정이 맞는 것 같습니다. (최근 DX에서 경력직 외에 채용 공고를 안내고 있기도 하구요..) SW 직무인 만큼 JAVA 역량을 원하기도 하고, 그 중에서도 백엔드 지식이 기본적으로 필요하다고 느꼈습니다. 그리고 교육기관인 비트교육센터에서 추구하는 교육방식이 그렇다고 느껴졌습니다. 특정 태스크 개발자가 되기 이전에 하드 코딩 베이스가 되는 개발자를 원하십니다.. (적고 보니 당연한 말인 것 같네요) 이 과정으로 채용되기 위해선 먼저 비트교육센터라는 큰 벽을 넘어야 합니다.. 생각보다 지원자 분들이 많았던 것 같습니다. (시간대별로 나눠서 아..

• format_list_bulleted 후기 및 회고💦
• · 2024. 4. 22.
• textsms