摘要
arXiv:2502.09122v1 类型: 综合交叉学科
摘要: 对于深度回归任务,保留目标相对于特征表示的序关系可以改进各种任务的性能。然而,序关系带来的好处的理论解释仍然缺乏。本文揭示了保留序关系可以降低条件熵 $H(Z|Y)$,其中 $Z$ 是表示,$Y$ 是目标。然而,我们的发现表明,典型的回归损失对降低 $H(Z|Y)$ 的影响甚微,尽管这对于泛化性能至关重要。出于这一动机,我们引入了一种基于最优传输的正则化项,以保留特征空间中目标的相似关系并降低 $H(Z|Y)$。此外,我们还引入了一种简单且有效的策略,即复制回归器目标,同样旨在降低 $H(Z|Y)$。在三个真实世界的回归任务上的实验验证了我们策略的有效性,可以提高深度回归性能。代码: https://github.com/needylove/Regression_tightness