Мы сравнили 24 языковые модели с писателями-людьми на 475 творческих заданиях

Выпущен первый бенчмарк для оценки творческого письма, в котором 24 LLM сравниваются с людьми на 475 промптах. Сильнейшие современные модели уже превосходят талантливых писателей-любителей, однако профессиональные авторы всё ещё сохраняют значительное преимущество. Результаты основаны на предпочтениях большой группы читателей, а не на вкусе одного человека.