TokenGate: токенизированный механизм внимания ускоряет предрасчет длинного контекста до 11.3 раз

Исследователи из Стэнфорда и Калифорнийского университета в Беркли представили метод TokenGate, основанный на токенизированном внимании. Этот подход значительно оптимизирует этап предрасчета (prefill) при работе с длинными контекстами, обеспечивая ускорение вычислений до 11.3 раз.