LLM2D
包含训练分离和隐式知识交互的平衡在线类增量学习
Inclusive Training Separation and Implicit Knowledge Interaction for Balanced Online Class-Incremental Learning
作者: Shunjie Wen, Thomas Heinis, Dong-Wan Choi
发布日期: 4/30/2025
arXiv ID: oai:arXiv.org:2504.20566v1

摘要

arXiv:2504.20566v1 类型: cross 摘要:在线类增量学习(OCIL)集中于从数据流中单过学习新类(称为塑性),同时并发地保留之前学习的类的知识(称为稳定性)。OCIL的主要挑战在于在不断更新的模型中维持旧类和新类知识的良好平衡。现有方法大多依赖于显式的知识交互通过经验回放,并且经常采用排他性训练分离以解决偏差问题。然而,仍然存在一个大的挑战来实现一个均衡的学习者,因为这些方法往往由于在OCIL设置中不断集成知识的困难而表现出较低的塑性或有限的稳定性。在这项研究中,我们提出了一种名为Balanced Online Incremental Learning(BOIL)的新型基于回放的方法,该方法可以在保持高塑性和稳定性的基础上确保OCIL的更均衡性能。我们的BOIL方法提出了一种使用双分类器的包含性训练分离策略,使得可以从旧类和新类中有效地集成知识,同时引入了在两个分类器之间转移知识的隐式方法。在三个广泛使用的OCIL基准数据集上的大量实验评估表明,BOIL方法优于现有的基于回放的OCIL方法,展示了更好的平衡和更优越的性能。