KV-кэш как среда выполнения агента [R]

Исследовательская команда предлагает альтернативный подход к интерактивности LLM-систем, модифицируя состояние вывода модели (KV-кэш) для более отзывчивого взаимодействия. Идея уже применялась в предыдущих работах лаборатории (Hogwild! Inference и AsyncReasoning), а в будущем планируется запуск агента на основе Qwen3.8-27B в среде DOOM. Авторы поднимают вопрос о том, является ли дизайн рантайма модели недооценённой осью возможностей агентов наряду с моделями и обвязкой.