Devs - do you use Mistral Medium 3.5 (128b dense) and if so - thoughts?

2026년 7월 9일 오후 07:06 Error upvotes 0 comments

Read Original

Model_Evaluation LLM_Quantization Mistral AI

📝 Summary

사용자가 Mistral Medium 3.5 128b 모델의 3비트 양자화 버전을 테스트한 결과, 기존 모델이 놓친 부분을 찾아내는 등 우수한 성능을 확인했습니다. MoE 모델보다는 느리지만 대형 밀집 모델로서의 가치가 충분하다는 의견을 공유하며 다른 개발자들의 실사용 경험을 묻고 있습니다.

🔑 Key Points

• 3비트 양자화(Unsloth - Q3_KS)를 적용한 128b 밀집 모델을 사용하여 하드웨어 제약 내에서 테스트를 진행함
• 기존 데일리 모델이 발견하지 못한 문제를 해결하는 등 코드 작업에서 뛰어난 성능을 보여줌
• 8 tps의 속도와 80k KV 캐시 환경에서 구동되며 MoE 방식보다는 느리지만 실용적인 수준임