Отражают ли бенчмарки реальную рабочую среду?

Автор обсуждает методологию оценки языковых моделей, указывая на ограничения в тестах (отсутствие доступа к интернету и инструментам) и субъективность человеческого или ИИ-оценивания. Поднимается вопрос о том, насколько публичные датасеты и кастомные harness-системы отражают реальные рабочие процессы пользователей.