Как научить CI выявлять скрытые изменения поведения кода, сгенерированного нейросетью

Автор описывает проблему, когда LLM пишет код и тесты, которые проходят, но меняют логику работы функции. Представлен инструмент confidence-scorer, который сравнивает старую и новую версии кода на одних и тех же входных данных, чтобы находить расхождения в поведении. Решение позволяет ловить регрессии, вызванные генеративным ИИ, на этапе код-ревью.