Линейное внимание: как догнать классические трансформеры

Исследователи из ВШЭ и VK изучают методы повышения качества моделей с линейным вниманием до уровня обычных трансформеров. Работа фокусируется на оптимизации архитектурных настроек, таких как число голов и позиционное кодирование, а также на использовании MLM-предобучения для сокращения разрыва в эффективности без возврата к квадратичным вычислительным затратам.