Запуск 35B MoE-модели на iPhone со скоростью 20.5 токенов/с без пропуска экспертов

Команда OpenBMB представила метод Lookahead Expert Scheduling (LES), позволяющий запускать 35B MoE-модель MiniCPM-V 4.7 на iPhone 18 Pro Max без изменения маршрутизации или отключения экспертов. Технология предсказывает необходимые веса, загружая их из памяти во время вычислений, что ускоряет работу в 6 раз по сравнению с базовым вариантом при сохранении качества.