摘要
arXiv:2501.12121v3 更换类型: replace-cross
摘要:持续学习已成为一个关键的研究领域,主要是因为它具有一个有利于模型持续获取和保留信息的优势特性。然而,灾难性遗忘可能会严重损害模型性能。在本研究中,我们通过引入一种名为 Optimally-Weighted Maximum Mean Discrepancy (OWMMD) 的新框架来解决网络忘记问题,该框架通过多级特征匹配机制 (MLFMM) 对表示变化施加惩罚。此外,我们提出了一种自适应正则化优化 (ARO) 策略来精炼自适应权重向量,在优化过程中自主评估每一层特征的重要性。所提出的 ARO 方法可以缓解过度正则化问题,并促进未来的任务学习。我们进行了一系列全面的实验,将我们提出的方法与几个现有的基准方法进行了对比。实证结果表明,我们的方法取得了最先进的性能。