摘要
arXiv:2505.09716v1 分类: cross
摘要:离分布外(OOD)泛化被认为是人类和动物智能的标志。为了通过组合实现OOD,系统必须发现经验输入-输出映射的环境不变特性并将这些特性转移到新的输入中。如果一个智能系统能够识别出合适的、任务不变的和可组合的输入特征,以及组合方法,从而使它能够基于这些特征的任务不变组合,而不是学习到的数据点之间的内插来进行操作,那么这一点可以实现。我们提议,为了确认一个算法确实从数据中学习到了组合结构,仅仅在OOD设置下进行测试是不够的,还需要确认所识别的特征确实是组合的。我们通过探索两个有明确OOD度量的标准任务来展示这一点,这两个任务是三个常用神经网络——多层感知机(MLP)、卷积神经网络(CNN)和Transformer——无法解决的。此外,我们开发了两个具有内置偏见的新网络架构,使它们在OOD场景中能够成功。我们展示了即使带有正确的偏见并且在OOD性能几乎完美的情况下,算法仍可能无法学习到正确的特征以实现组合泛化。