Сравнение линейной рекуррентной модели и Transformer-аттеншн для задач принятия решений

Автор провёл эксперимент по обучению двух моделей на 15 млн параметров для задачи принятия решений: одну на базе линейной рекуррентной архитектуры, другую — на стандартном трансформере. Точность обеих оказалась близка к случайному выбору, однако линейная модель показала значительное преимущество в скорости обучения и инференса на длинных контекстах благодаря линейной сложности от длины последовательности.