Назад к дайджесту
Новость

Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же

Автор протестировал популярные калькуляторы VRAM для LLM и обнаружил, что все они дают неточные оценки из-за двух причин: движки (vLLM, SGLang, TensorRT-LLM) резервируют память под пул до расчёта KV, а формула для DeepSeek-V2-Lite завышает KV в 7–11 раз. Он сверил расчёты с реальным vLLM на A100/H100 (расхождение ~1%) и представил собственный калькулятор ridgepoint, который считает как движок и устанавливается локально без GPU.