Удаление 85% весов Gemma: эксперимент с прунингом MoE-модели

Автор успешно сократил размер модели Gemma 26B до 15% от исходного, сохранив 92% согласованности результатов на узкой задаче классификации. Метод включает выбор 8 экспертов на слой, что превращает модель в плотную архитектуру объемом 3.81B параметров, требующую всего 3.8 ГБ памяти и обеспечивающую высокую скорость вывода на устройствах с ограниченным ресурсом.