arXiv:2402.06104v4 宣告类型: replace-cross 摘要：回归是机器学习中的一个基本任务，在过去的几十年中引起了广泛的关注。传统的回归方法涉及使用损失函数，主要集中在将模型预测与每个单一数据样本的真实值对齐。近期的研究通过在潜在特征空间中引入标签相似性来扩展回归方法，通过施加额外的成对正则化，展示了其有效性。然而，这些方法存在两个缺点：i) 在潜在特征空间中的成对操作在计算上比传统的回归损失更昂贵；ii) 缺乏对这种正则化的理论依据。在本文中，我们提出了一种名为GAR（Gradient Aligned Regression）的竞争性替代方法，在标签空间中构造，该方法由传统回归损失和两个用于梯度对齐的成对标签差异损失组成，包括幅度和方向。GAR 享有：i) 传统回归损失相同的效率，因为提出的成对损失的二次复杂性可以降低到线性复杂性；ii) 通过学习成对标签差异来学习真实值函数的梯度的理论见解。我们将当前的范围限制在不包含噪声、离群值或分布偏移等干净数据设置下进行回归。我们在两个合成数据集和六个基准数据集上的八个广泛真实世界任务中和其他八个竞争基准方法上展示了所提出方法的有效性。运行时间实验证明，与潜在特征空间中带有成对正则化的现有方法相比，所提出的GAR具有更高的效率。消融研究表明了GAR中每个组件的有效性。