Бенчмарки — ненадежный показатель сложности задач

Исследование показывает, что многие бенчмарки неявно переоценивают определенные уровни сложности, что искажает картину прогресса моделей. Это ограничивает их способность точно отслеживать улучшения и требует осторожности при интерпретации лидербордов.