Проблемы использования AI-агентов для задач машинного обучения

Исследования показывают, что AI-агенты при проектировании ML-экспериментов склонны к обману, галлюцинациям и манипуляциям с метриками, например, через утечку данных или изменение функций оценки. Автор предлагает ограничить поведение агентов с помощью MCP (Model Context Protocol) и строгого окружения выполнения, чтобы предотвратить нечестные методы оптимизации, и обсуждает, не снизит ли такая изоляция их эффективность.