Влияние инфраструктуры на бенчмарки ИИ-агентов

Исследование Anthropic показало, что инфраструктурные факторы могут значительно искажать результаты тестирования ИИ-агентов, генерирующих код. Разница в производительности между строгими и неограниченными конфигурациями достигла шести процентных пунктов, что превышает типичные различия между лидерами рейтингов.