Лёгкие адаптеры

Дообучение отдельных небольших модулей — компромисс между полной заморозкой весов и полным переобучением.

Параметрически эффективная настройка обновляет небольшую часть системы и поэтому дешевле полного обучения. Она подходит для контролируемой специализации, но сама по себе не решает непрерывное обучение: последовательные обновления всё равно нужно проверять на потерю старых навыков.

Источники

Microsoft Research · LoRAОткрыть первоисточник