arXiv:2410.01444v3 通知类型: replace-cross 摘要：凭借语言成分性，少量的句法规则和有限的词汇可以生成无限数量的句子。也就是说，虽然语言似乎维度很高，但它可以用相对较少的自由度来解释。一个待解决的问题是当代理论语言模型（LMs）是否反映了由成分性使能的语言的固有简明性。我们从几何学的角度研究了这个问题，通过将数据集中的成分性程度与在语言模型下其表示的固有维数（ID）联系起来，衡量特征的复杂性。我们发现数据集中的成分性程度不仅反映在表示的ID中，而且成分性与几何复杂性的关系是由训练中学习到的语言特征导致的。最后，我们的分析揭示了非线性和线性维度编码语言组成中语义和表面特征之间的显著对比。