Reddit r/LocalLLaMA LocalLLaMA
Is there some KDL chart for MiMo-V2.5 or something regarding the quants quality?
2026년 7월 4일 오후 06:12 Error upvotes 0 comments
Read Original AI LLM_Quantization Model_Evaluation MiMo-V2.5
📝 Summary
사용자가 MiMo-V2.5 모델의 양자화 품질과 추론 루프 문제에 대해 질문하며 경험을 공유하고 있습니다. 현재 사용 중인 양자화 버전의 문제인지 확인하고자 하며, 모델의 전반적인 성능은 Qwen 3.5보다 뛰어나다고 평가합니다.
🔑 Key Points
- • 모델이 추론 과정에서 특정 문구에 갇히는 루프 현상이 발생하지만, 사용자가 개입하면 작업 수행은 가능한 상태입니다.
- • 현재 사용 중인 unsloth의 ud-q4_k_xl 양자화 버전 대신 더 높은 사양의 양자화를 사용할 경우 루프 문제가 해결될지 질문하고 있습니다.
- • Qwen 3.5 397B와 비교했을 때, MiMo 모델이 계획 수립 및 웹 검색 활용 능력에서 더 우수한 결과를 보여주었다고 언급했습니다.