Назад к дайджесту
Новость

Запуск LLM на ESP32: как достичь 400 токенов в секунду

Автор оптимизировал запуск языковой модели Llama-2 (stories260K) на микроконтроллере ESP32-S3, увеличив скорость генерации с ~20 до 406 токенов в секунду. Ключевые методы ускорения включали квантование, использование векторных SIMD-инструкций, задействование второго ядра и тонкую настройку управления памятью без применения внешних ускорителей.