Пятнадцать запусков «сделай одну кнопку синей» на странице-ловушке каждый раз оставались в пределах одного селектора; бенчмарк из 200 устаревших багов показывает, что реальные репозитории ведут себя иначе в 35–65% случаев

Эксперимент на специально созданной странице с ловушками (общие классы, мусорный код) показал, что агент при задаче «сделай кнопку синей» всегда менял только нужный селектор. Однако на реальных репозиториях из бенчмарка SWE-Bench Verified агенты в 35–65% случаев изменяли исполняемый код, даже когда правильным ответом был пустой патч. Авторы делают вывод, что ключевой фактор — что агент считает успехом: без явного указания «не менять ничего» воздержание не рассматривается как вариант.