arXiv:2406.03345v3 宣告类型: replace-cross 摘要：学习在数据分布变化时泛化的表示对于构建稳健的机器学习模型至关重要。然而，尽管近年来做出了巨大努力，但在这一方向上的算法进展依然有限。在这项工作中，我们试图理解使用深度神经网络进行离分布泛化的根本困难。首先，我们通过实验证明，即使允许神经网络明确拟合能够离分布泛化的教师网络得到的表示，也对学生的网络泛化不足是不够的。然后，通过对结构化特征模型下由随机梯度下降（SGD）优化的两层ReLU网络的理论研究，我们识别出神经网络一种未被探索的基本特征学习倾向：特征污染。神经网络能够同时学习不相关的特征和预测性特征，这导致在数据分布变化时泛化失败。值得注意的是，这种机制本质上与文献中归因于虚假相关性的普遍说法有所不同。总体而言，我们的结果为神经网络的非线性特征学习动态提供了新的见解，并强调了在离分布泛化中考虑归纳偏置的必要性。