持续学习旨在依次学习一系列任务，而不会遗忘从前一个任务中获得的知识。在这项工作中，我们提出了针对持续学习的Hessian感知低秩扰动算法。通过使用权重矩阵变换来建模参数在连续任务中的转变，我们建议在神经网络每一层的任务自适应参数上应用低秩近似。具体而言，我们从理论上证明了Hessian与所提出的低秩近似之间的定量关系。然后，根据由层特定梯度和低秩近似误差估算的经验损失边际增量，全局确定近似秩。此外，我们通过修剪不重要的参数来控制模型容量，以减少参数增长。我们在各种基准上进行了广泛的实验，包括一个具有大规模任务的数据集，并将我们的方法与一些最新的最先进方法进行了比较，以证明我们提出方法的有效性和可扩展性。实证结果表明，我们的方法在不同的基准上表现更好，尤其是在实现任务顺序鲁棒性和处理遗忘问题方面。源代码在https://github.com/lijiaqi/HALRP。