Slipstream: ускорение работы Qwen3.8-Flash-Next на Mac до 52 токенов в секунду благодаря Metal-движку

Разработчик представил Slipstream — компилируемый C++ движок инференса на базе Apple Metal с поддержкой нативного потокового чтения экспертов с SSD и спекулятивного черновика. Новый инструмент обеспечивает прирост скорости декодирования модели Qwen3.8-Flash-Next в 1.76 раза по сравнению с llama.cpp, достигая 41–52 токенов в секунду на 64 ГБ Mac, сохраняя стабильность даже при контексте до 130 000 токенов.