[From tokens to thoughts] How LLMs and Humans Trade Compression for Meaning 논문 리뷰

안녕하세요, 이번에 리뷰해 본 논문은 25년 5월 발표된 From tokens to thoughts 라는 논문입니다.🤗 최근 Embedding 논문들에 관심을 가지면서 몇 가지 Embedding 관련 논문들을 읽어보았는데요, 모델이 표현하는 토큰/ 단어/ 문장의 의미와 인간이 표현하는 개념들에 대해서 어떤 차이가 있는지, 만약 차이가 존재한다면 우리가 앞으로 어떤식으로 모델들을 개발시켜야 하는지 그런 방향성에 대해서 고민해보는 논문입니다. 해당 개념을 표현하기 위해 인지과학적인 내용들도 좀 등장하는데요,이런 식으로도 생각해 볼 수 있구나 정도로 편하게 읽어내려가 보았습니다. 원문은 아래 링크에서 확인하실 수 있습니다.https://arxiv.org/abs/2505.17117 From Tokens to ..

• format_list_bulleted AI (인공지능) Paper Review/NLP
• · 2025. 7. 6.
• textsms

Google Prompt Engineering White Paper

Original Paper Link : https://www.kaggle.com/whitepaper-prompt-engineering?_bhlid=a2bfce2cac67662098bd85a241e7cb000576e5d4 Prompt Engineering www.kaggle.com Google에서 정리한 Prompt Engineering White Paper에 대해 간단히 요약하여 정리해 보았습니다🙌읽고 느낀 점은.. LLM & Prompting은 아직은 여전히 경험적으로 체득해야 하는 부분이 훨씬 더 많은 것 같네요😇Prompt EngineeringLLM takes sequential text as input then predict the following token should bethe next ..

• format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
• · 2025. 5. 26.
• textsms

[Lost in the Middle] How Language Models Use Long Contexts 논문 리뷰

RAG가 한창 유행일 당시 (지금도 여전히...)Long Context 사이즈의 모델의 필요성이 대두되었고, 모델이 새로 개발됨에 따라 긴 길이의 Context를 수용할 수 있는 모델들이 등장하곤 했습니다. 위 논문은 긴 Context가 들어왔을 때 모델이 문맥의 앞, 뒤는 이해를 하지만 중간 내용은 소실할 수 있는 부분에 대해 다룬 논문입니다. 원문은 아래 링크에서 확인하실 수 있으며, 리뷰 내용에 잘못된 부분이나 오탈자가 있다면 언제든 댓글 달아주시길 바랍니다!🙌https://arxiv.org/abs/2307.03172 Lost in the Middle: How Language Models Use Long ContextsWhile recent language models have the abilit..

• format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
• · 2025. 3. 21.
• textsms

[Huggingface Audio Course] 허깅페이스 오디오 코스

Audio샘플링 속도 (Sampling Frequency)1초 동안 수집된 샘플의 수로, 헤르츠(Hz) 단위로 측정됨음성 모델 학습에 주로 쓰이는 샘플링 속도는 16000Hz(16kHz)신호에서 얼마나 큰 주파수까지 캡쳐할 수 있는지를 결정하는데 큰 역할신호에서 캡쳐 가능한 최고 주파수의 한계는 샘플링 속도의 절반 = Nyquist Limit더 높은 샘플링 속도를 사용하여도 얻을 수 있는 추가 정보는 없을 것이며, 오히려 파일 처리에 대한 계산 비용만 증가시킴너무 낮은 샘플링 속도는 정보의 손실로 이어짐모든 예제가 동일한 샘플링 속도로를 가지고 있는지 확인하는 것이 중요Resampling : 서로 다른 샘플링 속도를 일치시켜주는 작업 ➡ 오디오 전처리 과정 중 하나Bit-Depth : 특정 시점의 오디오..

• format_list_bulleted AI (인공지능) Paper Review/Audio
• · 2024. 11. 22.
• textsms

[Contextual ASR] CTC-Assisted LLM-Based Contextual ASR 논문 리뷰

SLT 2024에 소개된 Audio(ASR Task)와 LLM을 결합한 내용의 논문입니다.기존의 ASR 태스크에서 Rare word에 대한 인식 성능을 향상시키기 위해 Language Model을 사용했는데요,논문을 읽고 간단히 정리해보았습니다. 원문과 깃헙 코드는 아래 링크에서 확인할 수 있습니다. https://github.com/X-LANCE/SLAM-LLM GitHub - X-LANCE/SLAM-LLM: Speech, Language, Audio, Music Processing with Large Language ModelSpeech, Language, Audio, Music Processing with Large Language Model - X-LANCE/SLAM-LLMgithub.comhtt..

• format_list_bulleted AI (인공지능) Paper Review/Audio
• · 2024. 11. 20.
• textsms

[HyDE] Precise Zero-Shot Dense Retrieval without Relevance Labels 논문 리뷰

이번 논문은 Advanced RAG 의 대표 기법 중 하나인 HyDE에 관한 논문입니다.HyDE 는 Hypothetical Document Embeddings 의 약자로, 가상(가설)의 Document를 만들어 RAG Retrieval 성능을 올린 대표적 기법 중 하나입니다. 원문은 아래에서 확인하실 수 있으며 제가 논문을 해석하면서 틀린 부분이나 오류가 있다면 댓글 달아주시면 감사하겠습니다🤗https://arxiv.org/abs/2212.10496 Precise Zero-Shot Dense Retrieval without Relevance LabelsWhile dense retrieval has been shown effective and efficient across tasks and languag..

• format_list_bulleted AI (인공지능) Paper Review/Gen AI (Large Model)
• · 2024. 7. 29.
• textsms