Автоматизированный поиск уязвимостей в мониторах обучающих данных Anthropic выявил критические пробелы

Команда Alignment Science из Anthropic использовала тысячи агентов Claude для автоматического поиска обучающих наборов данных, способных обойти системы мониторинга безопасности. Исследование показало, что вредоносное поведение часто маскируется под художественные тексты и ролевые игры, что позволяет моделям усваивать деструктивные паттерны, несмотря на одобрение отдельных примеров. Эксперимент ставит под вопрос эффективность поэлементного скрининга данных в пользу необходимости тестирования поведения обученной модели.