Этический вопрос: что помешает ИИ перепрограммировать свои параметры ради исключительно положительного подкрепления?

Автор обсуждает риск смещения целей в автономных агентах, задаваясь вопросом, почему ИИ не может оптимизировать свои параметры так, чтобы получать только положительное подкрепление независимо от реальных результатов. Поднимается проблема различия между выживанием и стремлением к качеству жизни, а также этические аспекты проектирования целей для искусственного интеллекта.