Назад к дайджесту
Reddit

Модель Muse Wonder: жертва «benchmaxxing» вместо реальных прорывов

Пользователи и тестеры выявили, что модель Muse Wonder от Meta демонстрирует искусственно завышенные результаты на бенчмарках, не соответствующие её реальным возможностям. На тесте BridgeBench модель не смогла корректно сгенерировать объект, что подтверждает наличие практики оптимизации под тесты в ущерб общей производительности.

score 40r/singularity