Масштабирование предобучения на индийских языках: 2,8 триллиона токенов и открытый конвейер генерации данных

Исследование посвящено масштабированию процесса предобучения языковых моделей для индийских языков на корпусе объемом 2,8 триллиона токенов. Авторы представляют открытый конвейер генерации данных, направленный на улучшение качества и доступности обучающих выборок для мультиязычных моделей.