摘要
arXiv:2501.14278v2 宣告类型: replace-cross
摘要:连续学习(CL)使深度神经网络能够适应不断变化的数据分布。在实践中,可能有标注成本高昂的场景,这就产生了积极的连续学习(ACL),即在减少标注成本时选择最具有信息性的子集进行积极学习(AL),从而适用于此类场景。然而,传统的AL策略并不适用于ACL,因为它们仅专注于学习新的知识,这会导致对之前学习任务的灾难性遗忘。因此,ACL需要一种新的AL策略,既能防止灾难性遗忘,又能快速学习新的任务。在本文中,我们通过将fisher信息矩阵作为一种新的样本选择标准,提出了AccuACL,即基于累积信息性的积极连续学习,这是在ACL框架内对fisher最优性保持属性的理论分析的基础上提出的。同时,我们也解决了基于fisher信息的AL的可扩展性问题。广泛的实验表明,AccuACL在各种CL算法中显著优于AL基线,平均准确率提高了23.8%,灾难性遗忘减少了17.0%。