Artificial Analysis не «сломан» — и они это доказывают

Автор опровергает критику в адрес бенчмарка Artificial Analysis, утверждая, что обвинения в «сломанности» и «покупке» необоснованны. Он объясняет, что индекс Intelligence Index — это взвешенный агрегированный показатель на основе 10 оценок, большинство из которых опубликованы на arXiv, а методология доступна. Приводятся примеры, показывающие, что агрегированные баллы могут скрывать сильные и слабые стороны моделей, как в случае с Deepseek V4.1-Flash, который сравнивается с Qwen 3.8-Flash-Next.