Назад к дайджесту
Reddit

Как проверить, не ухудшились ли ответы агента после смены модели или промпта

Автор обсуждает проблему регрессии качества ответов AI-агентов при обновлении базовой модели или изменении системного промпта без повторного тестирования. В посте поднимаются вопросы создания фиксированных наборов тестов, методов оценки корректности ответов (люди или LLM-as-judge) и стратегий блокировки изменений при падении метрик.

score 40r/AI_Agents