Быстрее света в воздухе: 8–22 токена/с для Qwen3.8-Flash-Next на 32-ГБ MacBook Air с M4

Автор представляет Cherenkov — движок инференса для Apple Silicon, который достигает 8–22 токенов в секунду для модели Qwen3.8-Flash-Next при использовании всего ~21 ГБ памяти. Технология основана на предсказательном потоковом выводе экспертов: система удерживает в памяти ограниченный рабочий набор экспертов, а однослойный предсказатель заранее подгружает нужные с SSD, при нехватке времени используя смешанную точность (Q3/Q2). Это позволяет запускать большие модели на устройствах с ограниченной памятью.