Непрерывное внимание (Continuum Attention): замена дискретного поиска на интеграцию по кривой памяти

Исследователи представили оператор внимания для каузальных трансформеров, заменяющий дискретный поиск ключей и значений на интеграцию по непрерывной кусочно-линейной кривой памяти. Метод использует экспоненциальную плотность релевантности и аналитические моменты для вычисления градиентов, что позволяет сохранить квадратичную сложность и параллельную реализацию на GPU. Эксперименты показывают снижение ошибки валидации по сравнению с softmax и focal attention.