Запуск Qwen3.8-Flash-Next (125B) на мини-ПК AMD Strix Halo: 44-59 токенов/с с использованием спекулятивного декодирования

Разработчики выпустили открытую версию движка Kyojin (на базе ExLlamaV3) и веса модели Qwen3.8-Flash-Next для запуска на одном AMD Strix Halo с 128 ГБ памяти. Прирост скорости достигается за счет спекулятивного декодирования, обеспечивая 44-59 токенов/с в режиме генерации и высокую скорость префилла, при этом сохраняя высокую точность соответствия оригинальной FP8-модели.