Назад к дайджесту
Reddit

Запуск Gemma 4 26B A4B на iPhone 17 Pro через пейджинг моделей

Команда Noema продемонстрировала запуск модели Gemma 4 26B A4B на iPhone 17 Pro с использованием техники пейджинга. Метод позволяет хранить неактивные веса в RAM, а экспертов загружать с SSD, что дает возможность работать с большими моделями на устройствах с ограниченной памятью. Хотя скорость генерации снижается, точность ответов сохраняется, что полезно для задач, где важна корректность.

score 40r/LocalLLaMA