摘要
持续学习对于动态环境中的应用至关重要,在这些环境中,机器学习模型必须适应不断变化的数据分布,同时保留先前任务的知识。尽管取得了重大进展,但灾难性遗忘——随着学习新信息,先前任务的性能下降——仍然是一个关键挑战。在这项工作中,我们研究了持续学习过程中中间神经网络层的稳定性,并探索了辅助分类器 (AC) 如何利用这种稳定性来提高性能。我们表明,早期网络层在学习过程中保持更稳定,特别是对于较旧的任务,并且应用于这些层的 AC 可以胜过标准分类器在过去任务上的表现。通过将 AC 集成到几种持续学习算法中,我们在标准基准测试中证明了持续且显著的性能改进。此外,我们探索了动态推理,表明 AC 增强的持续学习方法可以将计算成本降低高达 60%,同时保持或超过标准方法的准确性。我们的研究结果表明,AC 为增强持续学习模型提供了一条有前景的途径,既提高了性能,又能够适应在可能需要这种灵活性的环境中的网络计算。