Быстрое и медленное обучение: LLM с непрерывной адаптацией

Исследователи предлагают фреймворк Fast-Slow Training (FST) для LLM, объединяющий обучение в контексте («быстрое») и обновление параметров («медленное»). Этот подход снижает катастрофическое забывание и повышает эффективность обучения в 3 раза по сравнению с чистым RL, сохраняя пластичность модели для новых задач.