2020
GPT-3, 175B
Обучение в контексте: модель решает задачу по паре примеров.
Вехи на линии · МАСШТАБ
Законы масштабирования
Выяснилось, что качество модели можно предсказать заранее, зная, сколько в неё вложат вычислений и данных. Прогресс перестал быть везением и стал вопросом бюджета.
Качество предсказуемо растёт с вычислениями, данными и параметрами. Именно это превратило исследование в промышленное планирование и запустило гонку дата-центров.
СтатусПРОЙДЕНО
ТипВехи на линии
Отметка2020
Что уже есть6
Исследовано
2020
Kaplan scaling laws
Кривые, по которым с тех пор планируют кластеры.
2022
Chinchilla
Данные важнее размера: пересборка всех бюджетов обучения.
2022
Эмерджентные способности
Часть навыков появляется скачком после порога масштаба, а не растёт плавно.
В процессе
сейчас
Данные кончаются
Качественный человеческий текст в интернете близок к исчерпанию. Дальше — синтетика, видео и собственные данные компаний.
В планах
впереди
Масштабирование обучения на опыте
Следующая ось роста — не размер модели, а объём обучения на собственных попытках и ошибках.
Ответвления
Вехи на линии
На линию