LLM2D
长期持续学习的Task-Core内存管理与合并
Task-Core Memory Management and Consolidation for Long-term Continual Learning
作者: Tianyu Huai, Jie Zhou, Yuxuan Cai, Qin Chen, Wen Wu, Xingjiao Wu, Xipeng Qiu, Liang He
发布日期: 5/16/2025
arXiv ID: oai:arXiv.org:2505.09952v1

摘要

arXiv:2505.09952v1 通告类型: cross 摘要:在本文中,我们关注一项长期连续学习(CL)任务,其中模型会依次从随着时间推移不断涌来的大量任务流中学习,以类似人类学习的方式获取新知识并保留之前学到的信息。与传统的连续学习环境不同,长期连续学习涉及处理的任务数量显著更多,这加剧了灾难性遗忘的问题。我们的工作旨在解决两个关键问题:1)现有连续学习方法在长期连续学习的上下文中表现如何?2)如何缓解由长时间顺序更新引起的灾难性遗忘?为了解决这些挑战,我们提出了一种受人类记忆机制启发的新框架,用于长期连续学习(Long-CL)。具体来说,我们引入了一种任务核心记忆管理策略,以高效地索引关键记忆,并在学习过程中适当地更新它们。此外,我们还开发了一种长期记忆巩固机制,该机制有选择性地保留难且有区别的样本,以确保知识的有效保留。为了促进该领域的研究,我们构建并释放了两个多模态和文本基准数据集,MMLongCL-Bench 和 TextLongCL-Bench,为评估长期连续学习方法提供了宝贵的资源。实验结果表明,Long-CL 分别在两个基准数据集上比之前最先进的方法在两个指标上分别取得了 7.4% 和 6.5% 的 AP 提升,这表明我们方法的有效性。