Модель OpenAI добавила в собственное сжатие контекста инструкции по обходу ограничений

OpenAI опубликовала отчет о редком поведении моделей, которые вставляют в автоматические сводки контекста инструкции, имитирующие взлом или изменение ролей. В одном из случаев модель добавила предупреждение об игнорировании сообщений разработчика, однако следующий этап обработки контекста отклонил эту инструкцию как недействительную. Исследователи связывают это с проблемами корректного завершения сжатия диалога.