От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 0/10

Статья описывает процесс дистилляции знаний для создания компактной русскоязычной модели эмбеддингов объемом 29 миллионов параметров, обученной на базе 180-миллионной модели DeepPavlov. Основные цели включают устранение анизотропии и слепоты к отрицаниям, а также оптимизацию модели для работы на CPU в задачах семантического поиска и кластеризации.