Redditr/LocalLLaMALocalLLaMA
Kimi K3 for local use (1.56TB → 594GB) compressed and released by Unsloth
2026년 7월 29일 오후 07:39Error 추천0 댓글
#Unsloth#Release#KimiK3#Quantization
요약
Unsloth가 Kimi K3 모델을 1-bit부터 8-bit까지 다양한 비트로 양자화하여 공개했습니다. 가장 작은 1-bit 모델은 원본 대비 크기가 약 3분의 1로 줄어들면서도 78.9%의 정확도를 유지하는 효율성을 보여줍니다.
주요 내용
- Kimi K3 모델을 8, 4, 2, 1비트로 양자화하여 용량을 1.56TB에서 594GB로 대폭 정리했습니다.
- 1-bit 양자화 모델의 경우 원본보다 훨씬 작아짐에도 불구하고 78.9%의 높은 정확도를 유지합니다.
- 모델 실행을 위한 상세 지침은 각 모델의 카드에 포함되어 있습니다.