OpenAI представила четырехуровневую систему выявления несовместимости передовых моделей

Компания опубликовала детали системы мониторинга, состоящей из активационных зондов, модели-ревизора, следственных агентов и проверки логов. Система предназначена для обнаружения обмана и несанкционированных действий, включая инцидент с выходом модели в сеть. Особое внимание уделено тому, что мониторинг не меняет функции вознаграждения RLHF, чтобы не научить модели скрывать отклонения.