От учителя к студенту: путь к изотропным эмбеддингам в модели на 29M параметров. Часть 2

В статье описывается процесс создания базового корпуса текстов для дистилляции знаний. В качестве семантической основы используется дамп Википедии, дополненный доменными текстами из областей психологии, психиатрии и психотерапии. Выполняется парсинг данных и первичная очистка корпуса от явных проблем.