问题先说清楚
拿一个训练好的模型继续教它新知识,权重一改,原来会的东西常常跟着变差。这跟人不太一样:你学会用新软件,不至于把字忘了。模型没有「复习」这套机制,新旧知识挤在同一批参数里,互相打架。
嵌套的思路
与其把所有知识一次性压进同一层参数,不如把学习过程分出层次、按不同节奏更新——快的部分负责眼前新任务,慢的部分守住长期能力,层级之间互相嵌套。可以粗略理解成:一边学新的,一边按自己的节奏复习旧的,而不是把整本书重印一遍。
别急着当成品用
这项目前还是研究范式,论文里谈的是持续学习和记忆更新,不是哪个产品明天就能开的开关。对工程团队来说,眼下更实用的仍是老三样:检索外挂知识库、把记忆放在模型外面、必要时做小范围微调并留好回归测试。
值得关注的原因是方向对:如果模型能长期学着不遗忘,「越用越懂你」才不用每次都靠塞长上下文硬撑。