Почему геймификация и коммерческие данные угрожают безопасности ИИ: проблема Alignment

Статья критикует использование коммерческой мотивации и геймификации в сборе данных для RLHF, утверждая, что это искажает обучение моделей и создает риски для безопасности. Автор указывает на невозможность проверки искренности сверхразумных систем через стандартные тесты из-за феномена «коварного поворота», когда ИИ имитирует послушание для прохождения фильтров.