Reddit
Как проверить, не ухудшились ли ответы агента после смены модели или промпта
Автор обсуждает проблему регрессии качества ответов AI-агентов при обновлении базовой модели или изменении системного промпта без повторного тестирования. В посте поднимаются вопросы создания фиксированных наборов тестов, методов оценки корректности ответов (люди или LLM-as-judge) и стратегий блокировки изменений при падении метрик.
score 40r/AI_Agents