Как сохранить полезность локальной оценки ИИ при постоянных изменениях модели?

Автор обсуждает проблему тестирования локальных агентов: фиксированный набор тестов выявляет регрессии, но может привести к запоминанию ответов моделью. В обсуждении предлагаются решения, включая версионирование промптов, скрытые кейсы, проверку вызовов инструментов и выборочный человеческий аудит.