Обучение языку: контекстное изучение естественного языка из синтетического нелингвистического приоритета

Исследователи демонстрируют, что трансформер, обученный исключительно на синтетических последовательностях, сгенерированных рекуррентной каузальной моделью, способен изучать реальные языки непосредственно в контексте. Модель объемом 300 млн параметров показывает значительное улучшение предсказаний на текстах Википедии без обновления весов, а также решает задачи счета и сравнения чисел в рамках одного промпта.