LLM2D
通过最优加权最大均值离散性优化框架学习动态表示以进行连续学习
Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning
作者: KaiHui Huang, RunQing Wu, Fei Ye
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2501.12121v3

摘要

arXiv:2501.12121v3 更换类型: replace-cross 摘要:持续学习已成为一个关键的研究领域,主要是因为它具有一个有利于模型持续获取和保留信息的优势特性。然而,灾难性遗忘可能会严重损害模型性能。在本研究中,我们通过引入一种名为 Optimally-Weighted Maximum Mean Discrepancy (OWMMD) 的新框架来解决网络忘记问题,该框架通过多级特征匹配机制 (MLFMM) 对表示变化施加惩罚。此外,我们提出了一种自适应正则化优化 (ARO) 策略来精炼自适应权重向量,在优化过程中自主评估每一层特征的重要性。所提出的 ARO 方法可以缓解过度正则化问题,并促进未来的任务学习。我们进行了一系列全面的实验,将我们提出的方法与几个现有的基准方法进行了对比。实证结果表明,我们的方法取得了最先进的性能。