Redditr/LocalLLaMALocalLLaMA
Profile v2.2: 421 tok/s with 25k ctx on a single RTX 5090 with muse-glimmer, no DFlash spec decoding
2026년 8월 18일 오후 07:32Error 추천0 댓글
#vLLM#Agent#LLM#GPU Optimization#LLM Inference
요약
추론 서버 최적화 도구인 Profile v2.2가 출시되어 GPU 성능 한계를 측정하고 병목 현상을 해결하는 결정론적 엔지니어링 방식을 제공합니다. 사용자는 이 도구를 통해 복잡한 튜닝 과정을 자동화하고 성능 지표를 정밀하게 검증할 수 있습니다.
주요 내용
- Profile v2.2는 GPU의 성능 한계(roofline ceiling)를 계산하고 병목 원인을 식별하여 최적화 과정을 수치화하는 오픈소스 도구입니다.
- RTX 5090 환경에서 25k 컨텍스트 길이를 기준으로 81 tok/s에서 421 tok/s로 성능을 대폭 향상시킨 실측 사례를 제시합니다.
- 현재 vLLM 엔진을 지원하며, 향후 멀티 GPU, 텐서 병렬화(TP), 다양한 엔진 및 k8s 지원을 목표로 하고 있습니다.