Redditr/LocalLLaMALocalLLaMA
Minimum VRAM GPU to run DeepSeek-V4-Flash-0731 Q4_K_XL at around 30 t/s ?
2026년 7월 31일 오후 07:37Error 추천0 댓글
#DeepSeek#LLM#VRAM
요약
DeepSeek-V4-Flash-0731 Q4_K_XL 모델을 초당 30 토큰 속도로 구동하기 위한 최소 VRAM 용량을 문의하는 내용입니다. 해당 모델이 13B의 활성 파라미터를 가진 MoE 구조임을 고려할 때, 48GB 이하의 GPU 환경에서 구동이 가능한지 확인하고자 합니다.
주요 내용
- DeepSeek-V4-Flash-0731 Q4_K_XL 모델의 효율적인 구동을 위한 VRAM 요구 사양 문의
- 13B 활성 파라미터를 가진 MoE 모델 특성을 활용한 최적의 GPU 구성 탐색
- 초당 30 토큰 이상의 추론 속도를 유지하며 48GB VRAM 범위 내에서 구동 가능한지 여부 확인