TokenGate: адаптация LLM для быстрого и экономичного предрасчета с обучаемым отсечением токенов

Исследователи представили TokenGate — легкий компонент, позволяющий обучать модели к отсечению неважных токенов в длинных контекстах. Механизм использует взвешенное внимание на основе важности токенов, что ускоряет предрасчет в 1.4–11.3 раза и снижает потребление памяти до 3.4 раз без потери точности.