Запуск Qwen3.8-Flash в 12 ГБ VRAM: высокая скорость и длинный контекст с квантованием IQ3_S

Автор демонстрирует работу квантованной версии модели Qwen3.8-Flash с использованием метода IQ3_S на конфигурации из 12 ГБ видеопамяти, 32 ГБ ОЗУ и NVMe-накопителя. Достигнуты показатели декодирования 40-50 токенов в секунду и префилла 1300-1500 токенов в секунду при контексте 131k, что сопоставимо с производительностью топовых коммерческих моделей.