Подборка материалов по on-policy дистилляции больших языковых моделей

Это GitHub-репозиторий с курируемой коллекцией научных статей и ресурсов, посвящённых методу дистилляции знаний для больших языковых моделей. Особый акцент сделан на технике on-policy distillation, позволяющей эффективно обучать модели-ученики на траекториях от моделей-учителей. Ресурс будет полезен исследователям и инженерам, изучающим способы оптимизации и сжатия LLM.