Повышение точности низкоразрядных квантованных моделей Qwen3.8-27B с помощью префиллера, работающего с SSD

Демонстрация от ISTA-DASLab показывает, как использование отдельной модели-префиллера позволяет восстановить точность низкоразрядных квантованных версий Qwen3.8-27B без потери скорости декодирования и экономии видеопамяти. Метод требует GPU Nvidia Blackwell и обеспечивает отсутствие снижения производительности для контекста свыше 4k токенов по сравнению с обычным запуском.