摘要
arXiv:2501.12121v4 公告类型: replace-cross
摘要:持续学习作为一种关键的研究领域逐渐崭露头角,主要得益于其能够使模型持续获取和保留信息的优势特性。然而,灾难性遗忘可能会严重损害模型性能。在本研究中,我们通过引入一种新颖的框架——最优加权最大均差(OWMMD),解决了网络遗忘问题。OWMMD 通过多层次特征匹配机制(MLFMM)对表示的改变施加惩罚。此外,我们提出了自适应正则化优化(ARO)策略来优化自适应权重向量,在优化过程中自动评估每一层特征的重要性。我们提出的 ARO 方法能够减轻过度正则化的问题,并促进对未来任务的学习。我们进行了一系列全面的实验,将我们提出的方法与其他几种现有基准方法进行了比较。实证结果表明,我们的方法达到了最先进的性能。