LLM2D
变分学习诱发自适应标签平滑
Variational Learning Induces Adaptive Label Smoothing
作者: Sin-Han Yang, Zhedong Liu, Gian Maria Marconi, Mohammad Emtiyaz Khan
发布日期: 2/12/2025
arXiv ID: oai:arXiv.org:2502.07273v1

摘要

arXiv:2502.07273v1 宣告类型: cross 摘要: 我们表明,变分学习自然地引起了自适应标签平滑,其中标签噪声专门为每个示例而定制。这样的标签平滑对于处理带有标签错误和分布转移的示例是有用的,但设计一个好的自适应策略并不总是容易的。我们提出省去这一步骤,并简单地使用变分目标优化期间自然引起的自适应性。我们展示了实验结果,在这些结果中,一种称为IVON的变分算法优于传统标签平滑,并且产生的自适应策略类似于现有方法。通过将贝叶斯方法与标签平滑连接起来,我们的工作提供了一种处理过于自信预测的新方法。