Word2vec

Смысл слов превратился в геометрию: похожие слова оказались рядом в обученном векторном пространстве.

Word2vec показал, что полезные отношения между словами можно получить из задачи предсказания контекста, без ручного словаря признаков. Векторные представления стали переносимым внутренним языком нейросетей и подготовили переход от отдельных классификаторов к большим предобученным моделям.

Источники

arXivОткрыть первоисточник