Фреймворк Sleep от Google Research: новый подход к сохранению знаний LLM в условиях непрерывного обучения

Исследователи Google представили метод Sleep, позволяющий языковым моделям сохранять ранее полученные знания при дообучении на новых данных. Подход решает проблему катастрофического забывания, характерную для непрерывного обучения (continual learning), обеспечивая стабильность моделей без необходимости хранения всех предыдущих наборов данных.