Сравнение линейной рекуррентной архитектуры и Transformer-аттеншн для малых моделей принятия решений

Автор провёл эксперимент, обучив две модели по 15 млн параметров на идентичных данных: одну на базе линейной рекуррентной архитектуры (Gated Segmented State Space), другую — на стандартном трансформере. Результаты показали, что точность обеих моделей практически одинакова и близка к случайному выбору, однако линейная модель значительно превосходит трансформер по скорости обучения и задержке при длинных контекстах благодаря линейной сложности от длины последовательности.