摘要
证据深度学习 (EDL) 是一种新兴的用于不确定性估计的方法,它在单次前向传递中提供可靠的预测不确定性,引起了广泛关注。EDL 基于主观逻辑,从神经网络中推导出狄利克雷浓度参数,以构建狄利克雷概率密度函数 (PDF),对类概率分布进行建模。尽管 EDL 取得了成功,但它包含了一些非必要的设置:(1)在模型构建中,通常被忽略的先验权重参数被固定为类别数,而它的值实际上会影响推导预测分数时证据比例与其大小之间的平衡。(2)在模型优化中,经验风险包含一个方差最小化优化项,该项会将 PDF 偏向狄拉克 delta 函数,可能加剧过自信。(3)此外,结构风险通常包括一个 KL 散度最小化正则化项,其优化方向超出了预期目的,与常识相矛盾,从而减少了证据大小所携带的信息。因此,我们提出了 Re-EDL,它是 EDL 的一个简化但更有效的变体,通过放宽非必要设置并保留必要设置,即采用主观逻辑中的投影概率。具体来说,Re-EDL 将先验权重视为可调整的超参数,而不是固定标量,并通过弃用方差最小化优化项和散度正则化项,直接优化狄利克雷 PDF 的期望。大量的实验和最先进的性能验证了我们方法的有效性。源代码可在 https://github.com/MengyuanChen21/Re-EDL 获取。