Оптимизация модели Qwen 3.8 Flash Next на двух GPU NVIDIA CMP 170HX

Автор поделился результатами локальной оптимизации языковой модели Qwen 3.8 Flash Next для работы на двух видеокартах NVIDIA CMP 170HX через PCIe Gen2 x4. Использовались чекпоинт W4A16 AutoRound, модифицированная версия vLLM, конвейерное параллелизм и нативное декодирование с предсказанием (MTP), что обеспечило высокую пропускную способность и поддержку контекстного окна до 262 144 токенов.