2017
Attention Is All You Need
Статья, определившая следующее десятилетие.
Вехи на линии · АРХИТЕКТУРА
Трансформеры
Была придумана универсальная схема устройства нейросети, которая одинаково хорошо работает с текстом, картинками, звуком и кодом — и от которой качество растёт, если просто добавить размера.
Механизм внимания дал архитектуру, которая масштабируется почти без предела. Один и тот же блок работает для текста, кода, звука и видео.
СтатусПРОЙДЕНО
ТипВехи на линии
Отметка2017
Что уже есть7
Исследовано
2018
BERT
Предобучение на языке стало стандартом индустрии.
2019
GPT-2
Генерация связного текста перестала быть игрушкой.
2020
Vision Transformer
Та же архитектура заработала на изображениях — трансформер оказался универсальным.
2021
Смесь экспертов
Разреженные модели: больше параметров без пропорционального роста вычислений.
В процессе
сейчас
Борьба с квадратичной ценой
Внимание дорожает как квадрат длины текста. Линейные и гибридные схемы — главная инженерная работа вокруг архитектуры.
В планах
впереди
Наследник трансформера
Архитектура держится девятый год. Замену ищут все крупные лаборатории, но пока ни одна альтернатива не выиграла на масштабе.
Вехи на линии
На линию