Исследователь безопасности OpenAI: гонка к рекурсивному самосовершенствованию — историческая ошибка, а прогресс в выравнивании остановился на уровне RLHF

Специалист по безопасности OpenAI предупреждает о рисках бездумной гонки к рекурсивному самосовершенствованию (RSI), называя это исторически беспрецедентной ошибкой. Автор отмечает, что фундаментальные прорывы в области выравнивания (alignment) нейросетей отсутствовали последние девять лет, с момента появления RLHF.