Внешняя память и изменение навыков модели — разные механизмы. Записанная заметка не доказывает непрерывного обучения.
О событииВнешняя память и извлечение частично закрывают задачу, но не дают настоящего накопления навыка.
Записи, векторная база и история действий помогают вернуть нужный факт в контекст, но не меняют устойчиво сам способ решения задачи. Это полезная инженерная замена памяти, однако она не равна обучению: без внешней записи модель остаётся прежней и не переносит приобретённый навык автоматически.
Источник: arXiv · RAGО событииДообучение отдельных небольших модулей — компромисс между полной заморозкой весов и полным переобучением.
Параметрически эффективная настройка обновляет небольшую часть системы и поэтому дешевле полного обучения. Она подходит для контролируемой специализации, но сама по себе не решает непрерывное обучение: последовательные обновления всё равно нужно проверять на потерю старых навыков.
Источник: Microsoft Research · LoRAО событииГлавное препятствие: новое знание стирает старое, и модель ломается там, где вчера работала.
При последовательном обучении градиенты новой задачи могут перезаписать параметры, важные для старых задач. Методы вроде EWC защищают часть таких параметров, но универсального решения для больших языковых моделей и открытого потока опыта пока нет.
Источник: PNAS · EWCО событииПока нет дешёвого способа доказать, что вчерашние умения пережили вчерашний опыт.
О событииСистема, которая за годы работы становится специалистом именно в вашей задаче, а не среднем по интернету.
Первоисточники, на которых основано досье: научные публикации, материалы лабораторий и официальные отчёты.