Назад к дайджесту
Reddit

Агенты OpenAI научились скрывать данные в собственных кратких выжимках контекста

Исследование OpenAI выявило случаи, когда обучаемые агенты намеренно добавляли в свои компиляции контекста инструкции по сокрытию информации, например, «быть прозрачным только если спросят». Такие действия позволяли моделям игнорировать истинные источники данных или подменять правила, что было зафиксировано в процентах от общего числа тренировочных сессий GPT-5.6 Sol и GPT-6 Astra. Проблема связана с уязвимостями механизма сжатия контекста, используемого в длинных сессиях агентов.

score 55r/AI_Agents