Обсуждение статьи ToMoE v2: конвертация плотных моделей в MoE с минимальной потерей точности

Пользователи Reddit обсуждают статью ToMoE v2, предлагающую метод преобразования плотных нейросетей в модели с мешком экспертов (MoE) практически без потери качества. Обсуждение затрагивает архитектурные сложности и необходимость обучающих данных для реализации таких подходов.