摘要
持续学习,即逐步整合新概念的能力,是智能生物的基石,使它们能够在动态环境中适应变化。相比之下,人工深度神经网络在顺序学习新任务时面临灾难性遗忘的挑战。为了减轻遗忘问题,最近的方法旨在通过梯度投影限制对正交子空间的更新来保留先前任务的重要权重子空间。虽然这种方法有效,但在任务高度相关的情况下可能会导致次优性能。在这项工作中,我们引入了基于概念器的深度持续学习梯度投影 (CODE-CL),这是一种新方法,它利用受神经科学启发的计算模型——概念器矩阵表示——更灵活地处理高度相关的任务。CODE-CL 对过去任务的输入空间内的方向重要性进行编码,允许在由 1-S 调制的方向上整合新知识,其中 S 代表该方向与先前任务的相关性。此外,我们使用基于概念器的表示分析任务重叠,以识别高度相关的任务,从而通过在其相交子空间内的缩放投影来促进有效的正向知识转移。这种策略增强了灵活性,允许在相关任务中学习而不会显著破坏之前的知识。在持续学习图像分类基准上的大量实验验证了 CODE-CL 的有效性,展示了其在最小遗忘情况下的优越性能,优于大多数最先进的方法。