Путь к изотропным эмбеддингам в модели на 29 млн параметров: часть 1

Автор описывает начальный этап работы над получением изотропных эмбеддингов в компактной модели размером 29 млн параметров. Рассматриваются методы анализа слоев нейросети, проведение первичных тестов для определения направления исследований и выбор базовой модели для последующей дистилляции.