arXiv:2503.20018v1 宣告类型: cross 摘要: 在通过反向传播训练的深度神经网络中持续学习的一个主要挑战是这些神经网络逐渐失去适应新任务的能力，并且与它们的重新初始化版本相比表现明显较差。本文的主要贡献是提出一个新的假设：经验重放解决了持续学习中塑性丧失的问题。在这里，经验重放是一种形式的记忆。我们提供了支持这一假设的证据。特别是，在回归、分类和策略评估等多种不同的任务中，我们通过简单地添加经验重放，并使用变换器处理经验重放中的数据，可以消除塑性丧失。值得注意的是，我们在深度学习的标准组件上并没有进行任何修改。例如，我们没有改变反向传播的方法，没有修改激活函数，也没有使用任何正则化方法。我们认为，经验重放和变换器能够解决塑性丧失问题，这是因为存在上下文学习的现象。