arXiv:2502.02544v1 宣告类型：交叉 摘要：我们解决了在多节点分布式学习中最小化真实风险的挑战。这些系统经常受到节点间和节点内标签偏移的影响，这构成了一个关键障碍，妨碍了有效优化模型性能的同时确保数据留在每个节点上。为了解决这一问题，我们提出了多功能鲁棒标签偏移（VRLS）方法，该方法增强了测试到训练标签密度比的最大似然估计。VRLS 包含了基于香农熵的正则化，并在训练过程中调整密度比，以便在测试时更好地处理标签偏移。在多节点学习环境中，VRLS 进一步通过在节点之间学习和适应密度比来扩展其能力，有效地缓解标签偏移并提高整体模型性能。在 MNIST、Fashion MNIST 和 CIFAR-10 上进行的实验显示 VRLS 的有效性，在不平衡设置中，VRLS 的表现比基线高出高达 20%。这些结果突显了 VRLS 在解决标签偏移方面提供的显著改进。我们的理论分析进一步支持了这一点，通过建立了估计误差的高概率界来支持这一观点。