Почему повторное обучение малых LLM упирается в потолок

Автор исследует возможность непрерывного обучения небольших языковых моделей без увеличения количества параметров. Эксперименты показывают, что многократное дообучение одной и той же модели на одних и тех же данных не приводит к накопительному росту качества: после первого раунда улучшения останавливаются.