Тестирование квантования KV-памяти для модели Qwen3.8 27B на 16 ГБ VRAM

Автор провёл 189 бенчмарков для оценки влияния различных уровней квантования KV-памяти на качество модели Qwen3.8 27B, помещающейся в 16 ГБ видеопамяти. Исследование показывает, что использование смешанного квантования q5_1/q5_1 или повышение общего квантования модели до q4_0/q4_0 часто даёт лучшие результаты по метрикам KLD и перплексии, чем запуск более тяжёлых моделей в полном разрешении.