Huawei открыла openPangu-2.0-Pro: MoE-модель на 505 млрд параметров

Huawei открыла доступ к модели openPangu-2.0-Pro архитектуры MoE с общим количеством параметров 505 млрд и активацией 18 млрд. Обучение проводилось на чипах Ascend с контекстным окном 512k токенов, включая режимы медленного и быстрого мышления. В дообучении использовались унифицированный SFT и он-политионная дистилляция с несколькими RL-специалистами.