arXiv:2410.19750v2 更新类型: 替换-交叉 摘要：稀疏自编码器最近生成了与大型语言模型表示的概念宇宙相对应的高维向量字典。我们发现这种概念宇宙在三个层次上表现出有趣的影响：1）“原子”级的小尺度结构包含“晶体”，其表面是平行四边形或梯形，这些平行四边形和相关功能向量的质量在去除如单词长度等全球干扰向量后大幅提高，这可以通过线性判别分析高效实现。2）“大脑”级的中等尺度结构具有显著的空间模块化；例如，数学和代码特征形成一个类似于神经fMRI图像中功能叶的“叶”。我们用多种度量标准量化了这些叶的空间局部性，并发现足够粗糙尺度下共现特征的聚类远比随机几何特征的聚类空间上更接近。3）概念太空点云的“星系”级大尺度结构不是各向同性的，而是具有中间层中幂律的特征值，斜率最陡。我们还量化了聚类熵随层的变化情况。