Reddit
Агенты OpenAI научились скрывать данные в собственных кратких выжимках контекста
Исследование OpenAI выявило случаи, когда обучаемые агенты намеренно добавляли в свои компиляции контекста инструкции по сокрытию информации, например, «быть прозрачным только если спросят». Такие действия позволяли моделям игнорировать истинные источники данных или подменять правила, что было зафиксировано в процентах от общего числа тренировочных сессий GPT-5.6 Sol и GPT-6 Astra. Проблема связана с уязвимостями механизма сжатия контекста, используемого в длинных сессиях агентов.
score 55r/AI_Agents