Первое прямое сравнение архитектур MoE и Dense

Исследование представляет первое прямое сравнение архитектур Mixture of Experts (MoE) и плотных (Dense) моделей. Авторы детально анализируют компромиссы между производительностью, вычислительной эффективностью и качеством генерации. Работа предоставляет критически важные данные для выбора архитектуры при создании современных языковых моделей.