Reddit
Запуск Gemma 4 26B A4B на iPhone 17 Pro через пейджинг моделей
Команда Noema продемонстрировала запуск модели Gemma 4 26B A4B на iPhone 17 Pro с использованием техники пейджинга. Метод позволяет хранить неактивные веса в RAM, а экспертов загружать с SSD, что дает возможность работать с большими моделями на устройствах с ограниченной памятью. Хотя скорость генерации снижается, точность ответов сохраняется, что полезно для задач, где важна корректность.
score 40r/LocalLLaMA