arXiv:2502.10442v1 公告类型：交叉 摘要：在顺序学习诸多任务的自主机器学习系统中，灾难性遗忘问题较为常见。为了理解连续学习过程中遗忘的范围，需要数学理论的支持。为实现这一目标的基础步骤，我们从理论角度研究了在没有明确防止遗忘的算法机制的梯度下降设置下的连续学习和灾难性遗忘问题。在该设置下，我们通过分析证明，过参数化本身可以在线性回归模型的背景下减轻遗忘。我们考虑了一个由排列任务启发的双任务设置，并展示了随着过参数化比例变得足够高，按顺序在两个任务上训练的模型可以为第一个任务提供低风险估计器。作为这项工作的部分内容，我们为单一线性回归任务建立了非渐进风险边界，这在双下降理论领域可能具有独立的兴趣。