Новая теория: что именно изучает word2vec

Исследователи представили количественную теорию, описывающую процесс обучения word2vec. Показано, что в реалистичных режимах задача сводится к невзвешенной факторизации матриц и анализируется через метод главных компонент. Работа раскрывает механизмы градиентного потока и формирования векторных представлений.