Reddit
Запуск LFM3-Omni-2B на iPhone 18 Pro Max: 80 токенов в секунду в офлайн-режиме через WebGPU
Разработчик продемонстрировал работу модели LFM3-Omni-2B на устройстве iPhone 18 Pro Max без подключения к интернету. Производительность достигла примерно 80 токенов в секунду благодаря использованию пользовательских ядер WebGPU в приложении на React Native.
score 40r/LocalLLaMA