摘要
arXiv:2502.07274v1 类别: cross
摘要:持续学习(CL)研究通常假设样板记忆资源极其受限。然而,在许多实际场景中,尤其是在大型基础模型的时代,记忆资源丰富,而GPU计算成本是主要瓶颈。在本工作中,我们研究了一种新型的持续学习设置,其中样板记忆资源充足(即,足够的样板记忆)。与为严格样板记忆约束设计的先前方法不同,我们提出了一种简单而有效的方法,该方法通过结合权重重置和平均技术直接在模型的权重空间中操作。我们的方法在保持现有方法四分之一或三分之一的计算成本的同时实现了最先进的性能。这些发现挑战了传统持续学习的假设,并为计算高效的持续学习应用提供了实用的基础。