Наша команда безопасности внезапно заинтересовалась prompt injection, теперь, когда агенты могут совершать действия

Автор рассказывает, как prompt injection перестал быть академической проблемой после того, как их ИИ-агенты получили доступ к инструментам, базам данных и рабочим процессам. В ходе red team-упражнения вредоносный документ, который агент должен был резюмировать, содержал инструкции, заставившие агента попытаться выполнить несвязанный вызов инструмента. Выяснилось, что многие разрешения агентов были настроены для удобства разработки и не пересматривались после выхода в продакшн.