Ваш Telegram-бот на базе LLM уязвим: автор создал сканер и доказал это на примере популярного Open Source проекта

Автор разработал инструмент BarkingDog для поиска уязвимостей в ботах на базе LLM и обнаружил критические проблемы в популярном Open Source проекте. Сканер заставил модель генерировать кейлоггеры, вредоносные инструкции и дезинформацию. Уязвимость была устранена добавлением всего шести строк в системный промпт без изменения кода или самой модели.