Reddit
llama.cpp: новый флаг --spec-draft-n-ubatch для оптимизации использования VRAM
Разработчик ggerganov добавил в проект llama.cpp новую опцию командной строки --spec-draft-n-ubatch. Этот параметр предназначен для оптимизации потребления видеопамяти при работе с моделями.
score 55r/LocalLLaMA