Лучшие практики оценки AI-агентов: баланс между надежностью и затратами

Автор делится опытом создания фреймворка для оценки QA и кодогенерирующих агентов, используя локальный корпус задач с намеренно внедренными ошибками. Особое внимание уделяется метрикам обнаружения багов, ложным срабатываниям и стоимости токенов, а также проблемам утечки данных через Git-статус. Обсуждаются подходы к регрессионному тестированию, эффективности LLM-as-a-judge и использование инструментов вроде Promptfoo.