Что пошло не так, когда я дал агенту полную автономию на неделю

Автор описал эксперимент с AI-агентом, выполняющим исследовательские задачи без постоянного контроля человека. Основные проблемы включали бесконечные циклы вызовов инструментов при неоднозначных ответах, накопление ошибок из-за сохранения неверных данных в памяти и неконтролируемое расширение границ задач. Эффективным решением стало не улучшение промптов, а внедрение порогов уверенности, заставляющих агент сигнализировать о сомнениях до совершения действий.