LLM2D
帕累托持续学习:基于偏好的学习与适应以实现动态稳定性-可塑性权衡
Pareto Continual Learning: Preference-Conditioned Learning and Adaption for Dynamic Stability-Plasticity Trade-off
作者: Song Lai, Zhe Zhao, Fei Zhu, Xi Lin, Qingfu Zhang, Gaofeng Meng
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.23390v1

摘要

arXiv:2503.23390v1 宣告类型:交叉 摘要:持续学习旨在顺序学习多个任务。持续学习中的关键挑战是在两个目标之间取得平衡:保留旧任务的知识(稳定性)和适应新任务(可塑性)。经验重播方法通过存储和重播过去数据与新数据并存,已成为减轻灾难性遗忘的广泛采用的方法。然而,这些方法忽略了稳定性和可塑性权衡的动态性质,试图找到一个固定的和不变的平衡,导致在训练和推理过程中适应效果不佳。在本文中,我们提出了帕累托持续学习(ParetoCL)这一新框架,将持续学习中的稳定性和可塑性权衡重新形式化为多目标优化(MOO)问题。ParetoCL 引入了一种偏好条件模型,以高效地学习一组帕累托最优解,表示不同的权衡,并在推理过程中实现动态适应。从泛化角度来看,ParetoCL 可以被视为一种目标增强方法,它从稳定性和可塑性的不同目标组合中学习。在多个数据集和设置下的广泛实验表明,ParetoCL 在性能上超越了现有最先进的方法,并能够适应各种持续学习场景。