Полное руководство по обучению MoE: настройка Mixture-of-Experts в Megatron-LM

Руководство охватывает процесс обучения моделей Mixture-of-Experts (MoE) с использованием фреймворка Megatron-LM, начиная от тестирования оборудования и создания базовой модели до детального разбора слоев MoE. Материал основан на опыте 800 тысяч GPU-часов на кластере Alps и включает рекомендации по роутингу, балансировке нагрузки и обслуживанию моделей, подкрепленные реальными скриптами и конфигурациями.