Кастомная квантованная версия Qwen2.5-32B Heretic для 16 ГБ VRAM с ускорением MTP

Автор создал специализированную квантованную версию модели Qwen2.5-32B (сборка Heretic) для видеокарт с 16 ГБ памяти, сохранив голову MTP (Multi-Token Prediction). Тестирование на RTX 4080 показало значительный прирост скорости генерации (до 68 токенов в секунду) за счет использования MTP, при этом качество модели оценивалось через метрику KLD относительно оригинала. Статья также содержит практические советы по управлению VRAM и выбору конфигураций для разных объемов памяти.