Reddit
Достаточно ли KV-кэширования провайдеров для агентных роёв и долгоживущих агентов?
Автор обсуждает проблему отсутствия ручного контроля над KV-кэшем у провайдеров инференса. Это мешает при создании агентных роёв и долгоживущих агентов, которым нужно ветвление от общего кэшированного префикса или сохранение кэша на длительное время для будущих агентов.
score 40r/AI_Agents