Как создать интерактивного агента с помощью манипуляций KV-кешем

Исследователь Yandex Research Георгий Якушев предлагает рассматривать KV-кеш не только как способ ускорения генерации, но и как активное состояние агента. Это позволяет LLM получать новые данные во время вычислений, корректировать план без полного перезапуска и координировать процессы с разной скоростью — что критично для голосовых ассистентов, роботов и систем с непрерывным видеопотоком.