Запуск моделей принятия решений: влияние квантования и использование VRAM

Автор обсуждает запуск новых decision-моделей от vLLM (семейство d3) через llama.cpp и интересуется их чувствительностью к квантованию, сравнивая с моделями для автодополнения кода. Также рассматривается вопрос потребления видеопамяти: выясняется, используют ли такие модели VRAM для контекста, как обычные LLM, и как правильно распределять веса между видеопамятью и оперативной памятью для GPU с ограниченным объемом.