Представляем Olmo-core 3: открытая масштабируемая инфраструктура для обучения больших MoE-моделей

Команда OLMo представила версию 3 своей инфраструктуры для обучения. Решение ориентировано на эффективное масштабирование и поддержку смешанных экспертных моделей (MoE), обеспечивая открытую базу для разработки крупных языковых моделей.