Количественная оценка шума инфраструктуры в тестах агентов для кодинга

Исследователи Anthropic обнаружили, что конфигурация инфраструктуры может существенно искажать результаты тестов на агентный кодинг. Разница в ресурсах окружения иногда превышает разрыв в производительности между лучшими моделями. Это подчеркивает, что для агентов среда выполнения становится частью задачи, а не просто пассивным контейнером.