Интегрированы ли Universal Transformers и Universal Reasoning Models в современные большие языковые модели?

Исследование показывает, что модели на базе Universal Transformer (UT), обученные с нуля без предобучения на интернет-данных, значительно превосходят стандартные трансформеры. Universal Reasoning Model (URM) использует рекуррентные вычисления для уточнения представлений токенов, что позволяет достигать высокой эффективности при меньших затратах ресурсов. Автор поста интересуется, внедрили ли ведущие лаборатории эти архитектуры в свои фронтенд-модели или они остались лишь теоретической разработкой.