arXiv:2410.14817v4 通告类型: replace-cross 摘要：组合性被认为是智能的基本要素。在人类中，它构成了思维、语言和高层次推理的结构。在人工智能中，组合性表示可以实现一种强大的跨分布推广形式，在这种形式中，模型系统地适应已知概念的新组合。然而，尽管我们对组合性是什么有很强的直觉，但目前尚无可量化的数学形式定义。在这里，我们提出这样一个定义，称为表示性组合性，这一定义考虑并扩展了我们对组合性的直觉。该定义概念上简单，是定量的，并基于算法信息论，适用于任何表示。直觉上，表示性组合性表明一个组合性表示必须满足三个属性。首先，它必须具有表现力。其次，它必须能够重新描述为由可重新组合的部分组成的离散符号序列的函数，类似于自然语言中的句子。第三，将这些符号序列与表示关联起来的函数，类似于自然语言中的语义，必须简单。通过在合成数据和真实世界数据上的实验，我们验证了我们对组合性的定义，并展示了如何它在人工智能和认知科学文献中跨领域的不同直觉达成统一。我们还展示了表示性组合性，尽管在理论上难以处理，但可以使用标准的深度学习工具轻松估计。我们的定义有可能启发设计出更符合组合性思维机制的新型、理论驱动的模型。