JSSA: Совместное разреженное внимание в подпространстве для эффективного декодирования длинных контекстов

Исследователи представили метод Joint Subspace Sparse Attention (JSSA), который оптимизирует работу с KV-кэшем при декодировании больших языковых моделей. Метод использует обучение общего низкоразмерного подпространства для точного отбора токенов и специализированное ядро внимания без операций сбора данных, что позволяет избежать задержек. На GPU NVIDIA B200 подход обеспечивает ускорение декодирования до 6.43 раз при сохранении точности, близкой к полному KV-кэшу, даже для моделей масштаба 700B.