Новый метод разреженного внимания для сверхдлинного контекста

Исследователи представили открытый метод разреженного внимания, позволяющий модели Qwen 3.8 27B работать с контекстом до 10 миллионов токенов без потери точности в большинстве задач. Метод обучается на стандартной функции потерь next-token prediction, обеспечивая скорость, сопоставимую с полным вниманием, при снижении вычислительных затрат.