Лаборатории завышают результаты бенчмарков ИИ в среднем на 6,4% по сравнению с независимыми тестами

Анализ 1629 опубликованных результатов бенчмарков показал, что разработчики ИИ-моделей сообщают о средних показателях на 6,4% выше, чем независимые исследователи при тестировании тех же моделей на одних и тех же тестах. Проект whatmodel.sh предоставляет открытый датасет и код для проверки этих данных.