arXiv:2502.01342v1 类型: cross 摘要: 神经网络训练中的可塑性损失是模型适应新任务或数据分布变化能力受限的关键挑战。本文介绍了一种名为 AID（基于区间Dropout的激活）的新方法，该方法受Dropout启发，旨在解决可塑性损失问题。与Dropout不同，AID 通过在每个预激活区间上应用不同概率的Dropout 来生成子网络。理论分析表明，AID 正则化了网络，促进了类似于深层线性网络的行为，而深层线性网络不受可塑性损失的影响。我们通过在包括标准图像分类数据集CIFAR10、CIFAR100和TinyImageNet上的连续学习任务中验证了AID 在保持可塑性方面的有效性。此外，我们展示了AID 在Arcade Learning Environment基准测试中的强化学习性能得到了提升。