Разные механизмы внимания для каждого блока архитектуры

Исследование показывает, что использование различных механизмов внимания в разных блоках нейросети позволяет достичь двукратного ускорения инференса (SLA) без существенной потери качества модели. Это открывает путь к созданию более эффективных и быстрых языковых моделей.