Нам нужна новая эра бенчмарков

Автор статьи критикует текущие системы оценки ИИ за англоцентричность и ограниченность, отмечая, что большинство тестов не отражают потребности 80% населения планеты, не говорящего по-английски. Предлагается создать коллективные бенчмарки, включающие задачи на иностранных языках, креативное письмо, деловую переписку и сложные кодовые задания, разработанные небольшими командами.