arXiv:2504.04039v1 通知类型: 交叉 摘要：我们在一个良好规定的随机设计环境中研究了一个包含两个线性回归任务的连续学习问题的统计性能。我们考虑了一种结构正则化算法，该算法结合了一种针对前一任务海森矩阵定制的广义 $\ell_2$ 正则化，以减轻灾难性遗忘。我们为该算法建立了联合超额风险的上界和下界。我们的分析揭示了一个基础的权衡关系，即记忆复杂性和统计效率之间的权衡，记忆复杂性通过定义结构正则化的向量数量来衡量。具体而言，在结构正则化中增加向量的数量会导 致更差的记忆复杂性但改善了超额风险，反之亦然。此外，我们的理论表明，没有正则化的简单连续学习会遭受灾难性遗忘，而结构正则化可以缓解这一问题。值得注意的是，结构正则化在有两任务同时访问的情况下，达到了与联合训练相当的性能。这些结果突显了连续学习中曲率感知正则化的重要作用。