Назад к дайджесту
Reddit

LFM 2.5 230M: генерация 1440 токенов/сек в браузере через кастомный бэкенд

Разработчик реализовал запуск языковой модели LFM 2.5 (230M) прямо в браузере с использованием WebGPU. Система оптимизирована для Nvidia и Apple Silicon, обеспечивая скорость до 1440 токенов в секунду благодаря специфичным ядрам. Проект находится в активной разработке и планируется к интеграции в библиотеку Sipp.

score 40r/LocalLLaMA