Attention Is All You Need

Transformer отказался от последовательного прохода рекуррентных сетей и позволил сопоставлять элементы входа через внимание. Это резко улучшило параллельное обучение и дало одну архитектурную основу, которую затем перенесли с текста на код, изображения, звук и видео. Работа стала центральной развилкой современной истории ИИ: почти все последующие большие языковые и мультимодальные модели используют её прямых наследников.