LLM2D
连续学习中的费舍信息计算研究
On the Computation of the Fisher Information in Continual Learning
作者: Gido M. van de Ven
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.11756v1

摘要

arXiv:2502.11756v1 宣告类型: cross 摘要: 深度神经网络连续学习中最流行的方法之一是弹性权重巩固(EWC),它涉及到计算Fisher信息。然而,Fisher信息的精确计算方式很少被描述,网络上可以找到多种不同的实现方式。本文讨论并实证比较了几种常用的实现方式,这表明许多目前报告的EWC结果可能通过改变Fisher信息的计算方式而得以改进。