Уроки при создании модели Apex-2: оптимизация обучения и данных

Автор делится опытом обучения LLM с ограниченным бюджетом, выявив нехватку GPU как главного узкого места. В статье описаны методы оптимизации затрат через использование GH200 вместо H100, применение алгоритма DiLoCo для слияния моделей и важность дедупликации корпусов данных FineWeb-Edu и DCLM.