Альтернативы EMA для учителя при дистилляции знаний

Автор ищет научные работы и репозитории, описывающие методы дистилляции знаний, где вместо стандартного учителя на основе экспоненциального скользящего среднего (EMA) используются другие стабильные модели-учителя. Цель — найти подходы, которые улучшаются вместе со студентом, но предотвращают дрейф его весов, обеспечивая стабильность обучения.