Почему падают бенчмарки для оценки моделей генерации кода

OpenAI отозвала рекомендацию использовать бенчмарк SWE-Bench Pro для оценки ИИ-агентов после выявления ошибок в 30% задач. Ранее компания также отказалась от SWE-bench Verified из-за утечки данных при обучении моделей, что ставит под вопрос надежность текущих методов тестирования LLM для программирования.