Почему отчёты о деконтаминации не решают проблему загрязнения бенчмарков, и что вместо этого должен делать оценщик

Автор объясняет, почему отчёты о деконтаминации не работают: лаборатория проверяет себя сама, корпус обучающих данных не раскрываем, а совпадения неполные — модель может выучить ответы через парафразы, решения на GitHub или синтетические данные. Вместо этого предлагается подход, при котором оценщик контролирует тест: скрывает метки, генерирует данные после заморозки и требует воспроизводимости результата.