Большое окно позволяет передать крупные документы или значительную часть проекта. Вместимость контекста не гарантирует, что модель одинаково хорошо использует каждую его часть.
О событииОбходной путь, которым индустрия жила, пока контекст был коротким. Сейчас — дополнение, а не костыль.
RAG отделяет знания от параметров модели: перед ответом система находит релевантные документы и добавляет их во вход. Это упрощает обновление фактов и ссылок, но качество зависит от поиска, разбиения документов и способности модели отличить найденное свидетельство от собственного предположения.
Источник: arXiv · RAGО событииМиллион токенов в проде — впервые в модель целиком помещалась книга или час видео.
О событииКодовые системы читают проект целиком.
О событииОдна двадцатая вычислений на токен, prefill вдевятеро и декодирование в пятнадцать раз быстрее на миллионном контексте.
О событииAAIF описала файловую память, поиск, профили и контрольные точки. Дата относится к обзору, а не к изобретению памяти; это не обновление весов модели.
О событииДлинный контекст помещается, но внимание к его середине проседает: модель помнит начало и конец лучше, чем то, что между ними.
О событииПамять между сессиями уже используется. Нерешённые задачи — актуальность, забывание, права доступа и проверка извлечённых сведений.
Первоисточники, на которых основано досье: научные публикации, материалы лабораторий и официальные отчёты.