🤖 Reddit r/LocalLLaMA

16x DGX Sparks - What should I run?

597 upvotes 302 comments Read on Reddit

DGX Sparks GPU 클러스터 LLM AI

📝 AI Summary

한 사용자가 16개의 DGX Sparks 클러스터를 구축하고 어떤 작업을 실행해야 할지 질문했습니다. 커뮤니티에서는 Kimi K2.6, Deepseek V4 등의 LLM 모델을 추천하거나, H100으로 업그레이드하라는 의견, 또는 Crysis나 Doom과 같은 게임을 실행해보라는 유머러스한 반응도 있었습니다.

🔑 Key Discussion Points

• 사용자는 16개의 DGX Sparks, 200Gbps 스위치, QSFP56 DAC 케이블을 사용하여 대규모 클러스터를 구축했습니다.
• 커뮤니티에서는 vLLM을 사용하여 Kimi K2.6 또는 Deepseek V4와 같은 모델을 실행하는 것을 추천했습니다. 특히, 8노드 클러스터에서 vLLM을 사용한 경험을 공유하며 성능에 대한 정보를 제공했습니다.
• 일부 사용자는 DGX Sparks를 판매하고 H100으로 업그레이드하는 것을 제안하거나, Crysis나 Doom과 같은 게임을 실행하여 시스템의 성능을 테스트해보라는 농담 섞인 의견을 제시했습니다.