摘要
arXiv:2502.14698v1 类型: cross
摘要: 决策者可能会因数据有限而遭受不确定性的影响。这可以通过考虑表征性不确定性来减轻,但对于大型神经网络来说,高效地估算表征性不确定性具有挑战性。为此,我们研究了Δ方差族算法,这是一种计算上高效且易于实现的表征性不确定性量化方法。它可以应用于包含神经网络的神经网络和其他更一般的由神经网络组成的函数。以一个带有基于神经网络的步进函数的天气模拟器为例——在这里,Δ方差在单次梯度计算的成本下获得了可竞争的结果。该方法方便的是,它不需要对神经网络架构或训练程序进行任何更改。我们从理论上讨论了多种方法来推导Δ方差,指出特殊情况可以恢复流行的技术,并提供对多种相关方法的统一视角。最后,我们观察到这种通用视角导致了一个自然的扩展,并通过实验展示了其益处。