摘要
神经过程(NPs)是一种深度概率模型,通过对一组上下文点进行条件化来表示随机过程。尽管它们在复杂分布的置信度估计方面具有明显的优势,但 NPs 在条件先验模型和后验模型之间强制参数耦合,从而有可能引入错误指定的先验分布。我们在此重新审视 NP 目标,并提出 Rényi 神经过程 (RNP) 以通过优化实现更好边际似然的替代后验来改善先验错误指定的影响。更具体地说,通过用模型后验和真实后验之间的 Rényi 散度替换标准 KL 散度,我们在关于后验的散度梯度中将密度比率 $\frac{p}{q}$ 乘以 (1-$\alpha$) 的幂。这个超参数 $\alpha$ 使我们能够抑制错误指定先验对后验更新的影响,这已被证明可以有效地避免过度平滑的预测并提高后验模型的表达能力。我们广泛的实验表明,在采用变分推理或最大似然估计目标的最先进的 NP 族模型上,对数似然始终得到改善。我们验证了我们的方法在回归和图像修复任务等多个基准上的有效性,并在底层先验模型错误指定的现实世界回归问题中展示了 RNP 的显著性能提升。