DLite: спекулятивное декодирование без учета истории для агентов ИИ

Исследователи представили DLite — фреймворк спекулятивного декодирования, устраняющий необходимость хранения исторического контекста KV-кэша, что критично для долгого взаимодействия агентов. Метод переиспользует скрытые состояния целевой модели для локальных предсказаний, обеспечивая ускорение вывода и превосходя существующие подходы, такие как DSpark, на 70%.