Назад к дайджесту
Reddit

Достаточно ли KV-кэширования провайдеров для агентных роёв и долгоживущих агентов?

Автор обсуждает проблему отсутствия ручного контроля над KV-кэшем у провайдеров инференса. Это мешает при создании агентных роёв и долгоживущих агентов, которым нужно ветвление от общего кэшированного префикса или сохранение кэша на длительное время для будущих агентов.

score 40r/AI_Agents