LLM2D
组合风险最小化
Compositional Risk Minimization
作者: Divyat Mahajan, Mohammad Pezeshki, Ioannis Mitliagkas, Kartik Ahuja, Pascal Vincent
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.06303v1

摘要

在这项工作中,我们解决了一个具有挑战性和极端形式的子群体迁移问题,称为组合迁移。在组合迁移下,某些属性组合完全不存在于训练分布中,但存在于测试分布中。我们使用灵活的加性能量分布对数据进行建模,其中每个能量项代表一个属性,并推导出一种名为组合风险最小化 (CRM) 的简单替代方案,以替代经验风险最小化。我们首先训练一个加性能量分类器来预测多个属性,然后调整该分类器以解决组合迁移问题。我们对 CRM 进行了广泛的理论分析,表明我们的提案外推到已见属性组合的特殊仿射包络。在基准数据集上的实证评估证实了 CRM 与文献中针对各种子群体迁移形式提出的其他方法相比,具有更高的鲁棒性。