Reddit
VRAM.cpp: Точный расчёт потребления VRAM для LLM прямо в браузере
Разработчик создал веб-инструмент VRAM.cpp, который выполняет алгоритм подбора параметров llama.cpp прямо в браузере. Утилита позволяет точно оценить, поместится ли конкретная квантованная модель в доступную видеопамять и оперативную память системы. Это экономит время и трафик, избавляя от необходимости скачивать гигабайты весов для проверки совместимости.
score 23r/LocalLLaMA