Reddit
Результаты инструментов в агентах ИИ становятся уязвимыми для инъекций промптов: одних обёрток недостаточно
Автор поднимает проблему безопасности в агентах ИИ, где вредоносные инструкции могут скрываться в выводах внешних инструментов и выполняться моделью позже. Проблема не решается простой изоляцией или санитизацией, так как модель может слепо доверять контексту, полученному из инструментов. Требуется изменение архитектуры и дообучение моделей для понимания авторитета внешних данных.
score 11r/AI_Agents