arXiv:2410.14817v3 宣告类型: replace-cross 摘要：组合性被认为是一智能所必需的基本要素。在人类中，它构成了思维结构、语言和高层次推理的基础。在人工智能中，组合性表示可以实现一种强大的分布外泛化形式，即模型系统地适应已知概念的新组合。然而，尽管我们对组合性有何含义有很强的直觉，但目前尚不存在一个可衡量的数学形式上的定义。在这里，我们提出这样的定义，称为表示组合性，这种定义考虑并扩展了我们对组合性的直觉。该定义概念上简单直观，定量化，并基于算法信息论，适用于任何表示。直观上，表示组合性陈述了一种组合性表示必须满足三个性质。首先，它必须是表达性的。其次，它可以重新描述为由可重组部分的离散符号序列函数的形式，类似于自然语言中的句子。第三，将这些符号序列与表示关联的函数，类似于自然语言中的语义，必须是简单的。通过合成数据和真实世界数据的实验，我们验证了组合性的定义，并展示了它如何统一来自人工智能和认知科学文献中不相关的直觉。我们还展示了表示组合性虽然理论上难以处理，但可以使用标准的深度学习工具轻松估计。该定义有可能启发设计出新的、基于理论的模型，更好地捕捉组合性思维的机制。