组合性，即表达式的含义由其组成部分的含义和语法规则构建而成的概念，使人类语言具有无限的生产力。首次，人工语言模型（LM）能够在多个组合泛化任务中与人类的表现相匹配。然而，关于这些能力背后的表征机制，还有很多需要了解。我们采用了一种高层次的几何方法来解决这个问题，将数据集中的组合性程度与其在 LM 下的表征的内在维数联系起来，内在维数是特征复杂性的度量。我们发现，不仅数据集组合性程度反映在表征的内在维数中，而且组合性和几何复杂性之间的关系是由于在训练过程中学习到的语言特征造成的。最后，我们的分析揭示了线性维数和非线性维数之间的鲜明对比，表明它们分别编码了语言组合的形式和语义方面。