Регрессионное тестирование промптов: как ИИ-модель пропускает исправленные тексты

Автор описывает метод регрессионного тестирования промптов для агентов, генерирующих тексты. В качестве контроллера качества используется ИИ-модель, выступающая в роли читателя, которая проверяет ответы агентов на наборе эталонных примеров. Эксперимент показал, что значительные правки промптов приводят к тому, что модель-читатель пропускает брак, создавая ложное ощущение корректности работы системы.