2023
Извлечение из базы (RAG)
Обходной путь, которым индустрия жила, пока контекст был коротким. Сейчас — дополнение, а не костыль.
Вехи на линии · ПАМЯТЬ
Длинный контекст
Модель теперь удерживает перед глазами сразу целую книгу, весь код проекта или час видео — а не пару страниц, как раньше.
Миллион токенов перестал быть демонстрацией и стал рабочим режимом. Модель держит в голове весь проект, а не отдельный файл.
СтатусПРОЙДЕНО
ТипВехи на линии
Отметка2026
Что уже есть6
Исследовано
2024
Gemini 1.5 Pro
Миллион токенов в проде — впервые в модель целиком помещалась книга или час видео.
2025
Контекст масштаба репозитория
Кодовые системы читают проект целиком.
2026-06
MiniMax M3
Одна двадцатая вычислений на токен, prefill вдевятеро и декодирование в пятнадцать раз быстрее на миллионном контексте.
В процессе
сейчас
Потеря середины
Длинный контекст помещается, но внимание к его середине проседает: модель помнит начало и конец лучше, чем то, что между ними.
В планах
в планах
Постоянная память между сессиями
Контекст обнуляется с каждым новым разговором. Память, которая живёт годами и не растёт бесконечно, — отдельная нерешённая задача.
Вехи на линии
На линию