arXiv:2502.09122v1 类型: 综合交叉学科 摘要: 对于深度回归任务，保留目标相对于特征表示的序关系可以改进各种任务的性能。然而，序关系带来的好处的理论解释仍然缺乏。本文揭示了保留序关系可以降低条件熵 $H(Z|Y)$，其中 $Z$ 是表示，$Y$ 是目标。然而，我们的发现表明，典型的回归损失对降低 $H(Z|Y)$ 的影响甚微，尽管这对于泛化性能至关重要。出于这一动机，我们引入了一种基于最优传输的正则化项，以保留特征空间中目标的相似关系并降低 $H(Z|Y)$。此外，我们还引入了一种简单且有效的策略，即复制回归器目标，同样旨在降低 $H(Z|Y)$。在三个真实世界的回归任务上的实验验证了我们策略的有效性，可以提高深度回归性能。代码: https://github.com/needylove/Regression_tightness