BrokenML: могут ли агенты ИИ исправлять сломанные ML-задачи?

Представлен бенчмарк BrokenML, оценивающий способность AI-агентов диагностировать и исправлять ошибки в ML-инфраструктуре, такие как рассинхронизация данных, ошибки OOM и проблемы с планировщиком Slurm. Исследование сравнивает эффективность открытых и закрытых моделей при ограниченных правах доступа к кластеру, показывая разрыв в возможностях агентов без полного root-доступа.