Само-дистилляция с учителем EMA в масштабе: ZeRO-3 + PEFT

Автор предлагает метод масштабирования само-дистилляции через адаптеры LoRA, где основной бэкбон замораживается, а веса учителя обновляются как экспоненциальное скользящее среднее (EMA) от адаптера студента. Решение реализовано в виде репозитория с поддержкой ZeRO-3, позволяющим эффективно обучать большие модели без переполнения видеопамяти GPU.