2022
InstructGPT
Выравнивание по инструкциям — модель начала слушаться.
Вехи на линии · ИНТЕРФЕЙС
Диалог и обучение на людях
Модель научили отвечать так, как人 удобно человеку: обычными словами, по делу и следуя просьбе. Ради этого людей просили сравнивать варианты ответов, и на этих сравнениях модель дообучали.
Обучение на человеческих предпочтениях превратило языковую модель в собеседника. Естественный язык стал универсальным интерфейсом к вычислениям.
СтатусПРОЙДЕНО
ТипВехи на линии
Отметка2022
Что уже есть6
Исследовано
2022
ChatGPT
Самое быстрое проникновение технологии в истории.
2022
Constitutional AI
Обучение по своду принципов вместо ручной разметки каждого ответа.
2023
GPT-4
Результаты человеческого уровня на профессиональных экзаменах вывели ИИ из категории игрушек.
В процессе
сейчас
Угодливость как дефект
Модель, обученная нравиться, склонна соглашаться. Отучить её поддакивать — открытая задача выравнивания.
В планах
впереди
Обучение на обратной связи от дела
Заменить оценку «понравился ли ответ» на оценку «сработал ли результат в реальности».
Ответвления
Вехи на линии
На линию