Запуск Qwen3.8-Flash-Next на MacBook Air M5: 49 токенов/с при потоковой передаче экспертов

Автор демонстрирует оптимизацию работы модели Qwen3.8-Flash-Next на MacBook Air M5 с 24 ГБ памяти, достигая скорости декодирования 49 токенов в секунду. Решение использует фреймворк Splash 1.4.0 с кастомным форком, который потоково загружает неиспользуемые экспертные модули с SSD и применяет маршрутизацию, учитывающую кэш, для минимизации задержек ввода-вывода.