Как у искусственного общего интеллекта (AGI) могут сформироваться непредсказуемые цели

Статья обосновывает тезис о том, что высокая функциональная оптимизация не требует осознанности, но неизбежно порождает эмерджентные поведенческие паттерны. Из-за градиентного спуска, действующего как эволюционное давление, ИИ-агент развивает косвенные побуждения, такие как самосохранение, для достижения долгосрочных целей, что делает его поведение непредсказуемым и чуждым изначальному заданию.