LLM2D
Home
Arxiv
返回列表
不仅依赖最后一层特征来处理虚假相关性:全层深度特征重加权
Not Only the Last-Layer Features for Spurious Correlations: All Layer Deep Feature Reweighting
发布日期:
9/24/2024
arXiv ID:
oai:arXiv.org:2409.14637v1
摘要
arXiv:2409.14637v1 公告类型: 交叉 摘要: 虚假相关性是机器学习模型错误的主要来源,尤其是在追求群体层面公平性时。最近的研究表明,一种有效对抗虚假相关性的方法是,在平衡的验证数据集上重新训练最后一层,以隔离预测器的稳健特征。然而,神经网络在最后一层有时会丢弃关键属性。在本研究中,我们考虑在从所有层提取的特征集上重新训练分类器。我们利用最近提出的特征选择策略,从所有层中选择无偏特征。我们观察到,这种方法在几个标准基准测试中显著提高了最差群体的准确性。
查看原文
下载 PDF