Как тестировать AI-агентов до и после деплоя: реальный опыт

Автор обсуждает подходы к валидации инструментов вызова (tool-calling) агентов, включая сценарные тесты, использование LLM-судей и проверку траекторий выполнения. Особое внимание уделяется проблемам недетерминированности, шуму в регрессионных тестах и методам оценки качества в продакшене.