CoWindow и MassAlloc Attention: коллективное причинное покрытие и распределение вычислений

Авторы представляют два новых механизма внимания для оптимизации работы с длинным контекстом: CoWindow Attention, распределяющий удаленный контекст между головами через комплементарные окна, и MassAlloc Attention, использующий статистику softmax для адаптивного отсечения вычислений с низким вкладом. Методы обеспечивают ускорение операторов внимания до 7.4x на прямом проходе и снижение общих FLOPs при обучении на моделях до 14B параметров без существенной потери качества.