LLM2D
如何利用预测不确定性估计来减少在线持续学习中的灾难性遗忘
How to Leverage Predictive Uncertainty Estimates for Reducing Catastrophic Forgetting in Online Continual Learning
作者: Giuseppe Serra, Ben Werner, Florian Buettner
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2407.07668v2

摘要

许多现实世界的应用需要机器学习模型能够处理非平稳数据分布,从而在较长的时间内自主学习,通常是在在线环境中。这种情况下,主要挑战之一是所谓的灾难性遗忘 (CF),在这种情况下,学习模型倾向于关注最新的任务,而对旧任务的预测能力下降。在在线环境中,最有效的解决方案使用固定大小的内存缓冲区来存储旧样本,这些样本在训练新任务时用于重放。已经提出了许多方法来解决这个问题。然而,目前尚不清楚如何以最有效的方式利用预测不确定性信息来进行内存管理,并且针对内存填充提出了相互矛盾的策略。最容易遗忘的样本还是最容易记住的样本在对抗 CF 方面更有效?从预测不确定性提供了样本在决策空间中位置的直观想法这一直觉出发,本文对不同的不确定性估计和内存填充策略进行了深入分析。该研究提供了对缓解 CF 所需数据点特征的更深入理解。然后,我们提出了一种通过负对数似然诱导的广义方差来估计预测不确定性的替代方法。最后,我们证明了使用预测不确定性度量有助于在不同设置中减少 CF。