arXiv:2504.13822v1 声明类型: 交叉 摘要：大规模预训练网络的出现彻底改变了人工智能领域，开启了新的可能性并实现了前所未有的性能。然而，这些模型继承了传统机器学习方法的基本局限性：它们对独立同分布(i.i.d.)假设的强烈依赖阻碍了其在动态学习场景中的适应性。我们认为，人工智能领域的下一次突破在于使模型能够高效地适应不断变化的环境——例如现实世界——在这种环境中，新数据和任务会依次到来。这一挑战定义了连续学习(CL)这一机器学习范式，专注于开发终身学习神经网络模型。一种高效适应大规模模型的方法被称为参数高效微调(PEFT)。这些方法通过进行小而高效的修改来解决适应特定数据或场景的问题，从而实现与全微调相似的性能。然而，这些技术仍然缺乏在多个任务上持续调整模型的能力，因为它们遭受灾难性遗忘的问题。在这篇综述中，我们首先概述了CL算法和PEFT方法，然后回顾了参数高效连续微调(PECFT)的最新进展。我们考察了各种方法，讨论了评估指标，并探讨了可能的未来研究方向。我们的目标是强调CL和参数高效微调之间的协同作用，引导该领域的研究人员，并为新的未来研究方向铺平道路。