LLM2D
保留标签相关性的不变性:在噪声环境下增强领域泛化
Invariant Correlation of Representation with Label: Enhancing Domain Generalization in Noisy Environments
作者: Gaojie Jin, Ronghui Mu, Xinping Yi, Xiaowei Huang, Lijun Zhang
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2407.01749v2

摘要

arXiv:2407.01749v2 宣告类型: replace-cross 摘要:不变风险最小化(IRM)方法旨在通过训练跨多个环境不变的特征表示来解决领域泛化的挑战。然而,在噪声环境中,IRM相关技术,如IRMv1和VREx可能无法达到最优的IRM解决方案,主要原因是存在错误的优化方向。为了解决这个问题,我们引入了ICorr(亦称为不变相关),这是一种旨在解决噪声环境中上述挑战的新方法。此外,我们还对一个案例进行了深入研究,以分析为什么以前的方法可能会失败,而ICorr却能成功。通过理论视角,特别是从因果性角度,我们阐明了在噪声环境中,特征表示与标签之间的不变相关是达到最优不变预测器的必要条件,而其他方法的优化动机可能不是。此外,我们通过在多种噪声数据集上与其他领域泛化方法进行比较,实证地证明了ICorr的有效性。代码可以在https://github.com/Alexkael/ICorr获得。