Замена модели сломала работу агента: я создал инструмент для сравнения траекторий выполнения

Разработчик создал утилиту whatbroke для сравнения JSONL-трассировок работы AI-агентов до и после смены моделей. Инструмент выявляет скрытые регрессии в вызовах инструментов и параметрах, которые не ловят текстовые тесты. Решение поддерживает CI/CD, работает офлайн и учитывает недетерминированность поведения агентов.