Увеличение MFU с 21% до 50% при предобучении MoE на 21B параметров в рамках одного чипа GH200

Исследователь описывает процесс оптимизации эффективности использования вычислительных ресурсов (MFU) при предобучении модели Mixture of Experts на 21 миллиард параметров с использованием единственного GPU NVIDIA GH200. В статье приводятся технические детали настройки, включая использование FP8, выгрузку активаций в CPU и оптимизацию ядра оптимизатора, что позволило повысить MFU с 21% до 50%. Материал включает ссылки на код, логи и отчет с метриками для воспроизведения результатов на ограниченном бюджете.