LLM2D
通过最优加权最大均值偏差优化框架学习动态表示以进行持续学习
Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning
作者: KaiHui Huang, RunQing Wu, JinHui Shen, HanYi Zhang, Ling Ge, JiGuo Yu, Fei Ye
发布日期: 4/15/2025
arXiv ID: oai:arXiv.org:2501.12121v4

摘要

arXiv:2501.12121v4 公告类型: replace-cross 摘要:持续学习作为一种关键的研究领域逐渐崭露头角,主要得益于其能够使模型持续获取和保留信息的优势特性。然而,灾难性遗忘可能会严重损害模型性能。在本研究中,我们通过引入一种新颖的框架——最优加权最大均差(OWMMD),解决了网络遗忘问题。OWMMD 通过多层次特征匹配机制(MLFMM)对表示的改变施加惩罚。此外,我们提出了自适应正则化优化(ARO)策略来优化自适应权重向量,在优化过程中自动评估每一层特征的重要性。我们提出的 ARO 方法能够减轻过度正则化的问题,并促进对未来任务的学习。我们进行了一系列全面的实验,将我们提出的方法与其他几种现有基准方法进行了比较。实证结果表明,我们的方法达到了最先进的性能。