LatentLoop: Масштабирование циклических MoE-моделей с асимметричным распределением вычислений

Исследователи предлагают метод LatentLoop, который оптимизирует циклические модели Mixture-of-Experts (MoE) за счет асимметричного распределения вычислительных ресурсов. Метод сжимает последовательность на первом проходе, сохраняя полное разрешение на втором, и перераспределяет сэкономленные вычисления на увеличение скрытого размера, что снижает затраты FLOPs и улучшает качество модели.