Переобучение и креативность в больших языковых моделях

Автор обсуждает гипотезу о том, что чрезмерное переобучение современных моделей на огромных датасетах снижает их способность к генерации нового контента. Предлагается рассмотреть возможность использования менее агрессивных настроек обучения (undercooked), чтобы улучшить креативность, пожертвовав точностью в задачах вроде написания кода.