Память вместо дообучения
Внешняя память и извлечение частично закрывают задачу, но не дают настоящего накопления навыка.
Сегодня модель не запоминает вчерашнюю работу: всё, что она знает, вморожено на этапе обучения. Нужна система, которая учится прямо в процессе — и при этом не забывает то, что умела раньше.
Ближайшая нерешённая задача. Без неё любой агент начинает каждый день с нуля, а накопленный опыт остаётся в записях, а не в самой системе.
Внешняя память и извлечение частично закрывают задачу, но не дают настоящего накопления навыка.
Дообучение отдельных небольших модулей — компромисс между полной заморозкой весов и полным переобучением.
Главное препятствие: новое знание стирает старое, и модель ломается там, где вчера работала.
Пока нет дешёвого способа доказать, что вчерашние умения пережили вчерашний опыт.
Система, которая за годы работы становится специалистом именно в вашей задаче, а не среднем по интернету.