Обучение модели MoE на 21B параметров с нуля: наблюдения за эмерджентными способностями

Автор обучил с нуля модель Apex-3 архитектуры Mixture of Experts (21B параметров, 3.36B активных) на 70B токенов без использования внешних предобученных весов. В статье подробно разбираются логи обучения, фиксируя фазовые переходы в способности к обучению в контексте (ICL) и арифметическим навыкам, а также сравниваются различные конфигурации экспертов.