Meta Expert: Кросс-слойное разделение экспертов для эффективного хранения и поиска в MoE

Исследование предлагает заменить иерархические локальные эксперты в разреженных моделях Mixture-of-Experts (MoE) на общие межслойные «Meta Experts». Этот подход снижает параметрическое избыточность, позволяет достичь производительности ванильной MoE, используя лишь 70-80% экспертов, и улучшает эффективность хранения и извлечения информации за счет более гибких путей остаточных связей.