Large Language Models Explore by Latent Distilling

Paper ID: 2604.24927 • 50 Upvotes

LLM Decoding Generative AI Diversity Semantic Exploration RAG Reasoning Benchmark Inference Distillation

Large Language Models Explore by Latent Distilling

📝 핵심 요약

LLM의 의미론적 다양성을 높여 추론 및 생성 성능을 향상시키는 새로운 디코딩 기법으로, 기존 샘플링의 한계를 극복하고 실제 애플리케이션의 견고성을 높일 수 있습니다.

📖 상세 내용

대규모 언어 모델(LLM)의 다양한 응답 생성은 중요하지만, 기존 확률적 샘플링은 표면적인 어휘 변화에 그쳐 의미론적 탐색을 제한하는 문제가 있습니다. 본 논문은 생성 과정에서 의미론적 다양성을 명시적으로 장려하는 디코딩 접근 방식인 Exploratory Sampling (ESamp)을 제안합니다. ESamp는 LLM의 얕은 레이어에서 깊은 레이어 표현을 예측하는 경량 Distiller를 훈련하고, 이 예측 오류를 참신성 신호로 사용하여 덜 탐색된 의미 패턴으로 디코딩을 유도합니다. 비동기 훈련-추론 파이프라인으로 구현되어 최악의 경우 5% 미만의 오버헤드를 보입니다. 경험적 결과에 따르면 ESamp는 추론 모델의 Pass@k 효율성을 크게 높이고, 수학, 과학, 코드 생성 벤치마크에서 강력한 일반화를 보이며, 창의적 글쓰기에서 다양성과 일관성 간의 트레이드오프를 해소합니다.

🔑 주요 내용 (Key Points)

의미론적 다양성을 명시적으로 장려하는 새로운 LLM 디코딩 기법인 Exploratory Sampling (ESamp) 제안.
경량 Distiller를 활용하여 LLM의 깊이별 표현 전환을 모델링하고 예측 오류를 참신성 신호로 사용.
추론, 코드 생성, 창의적 글쓰기 등 다양한 태스크에서 Pass@k 효율성 및 생성 품질을 크게 향상시킴.

💡 실무적 가치 (Relevance)

개발자들은 이 기법을 통해 LLM이 더 창의적이고 견고하며, 예측 불가능한 시나리오에서도 높은 성능을 발휘하는 애플리케이션을 구축할 수 있습니다. 특히 코드 생성이나 복잡한 추론 태스크에서 LLM의 잠재력을 최대한 활용하는 데 기여할 수 있습니다.

✅ 추천 액션 (Actionable Items)

기존 LLM 디코딩 전략(예: Top-p, Top-k)과 ESamp를 비교하여 특정 도메인에서의 성능 향상 폭을 측정해볼 것.
코드 생성 시나리오에서 ESamp를 적용하여 생성된 코드의 다양성과 정확성, 그리고 버그 감소 효과를 평가해볼 것.
창의적 글쓰기 또는 스토리 생성 태스크에서 ESamp가 생성하는 텍스트의 참신성과 일관성을 분석하고 사용자 피드백을 수집해볼 것.

View on Hugging Face View PDF (arXiv)