Коллапс модели при обучении на сгенерированных данных

Исследователи из Оксфорда, Кембриджа и других университетов обнаружили, что обучение больших языковых моделей на текстах, созданных другими ИИ, приводит к необратимым дефектам. Этот эффект, названный «коллапсом модели», вызывает исчезновение редких паттернов и хвостов распределения исходных данных, что снижает качество и разнообразие выходных данных.