Новость
Пеликанмаксинг: оптимизируют ли разработчики ИИ-моделей под популярные бенчмарки?
Неформальный бенчмарк Саймона Уиллисона с генерацией SVG-пеликана на велосипеде стал предметом споров о честности тестов ИИ. Автор статьи провёл эксперимент, сгенерировав 1008 изображений в передовых моделях, чтобы проверить наличие пеликанмаксинга. Результаты анализа через LLM-судью показывают, насколько модели действительно соответствуют критериям или просто заточены под конкретный промпт.