arXiv:2504.08775v1 交叉类型公告： 摘要：独立训练的大型语言模型（LLM）使用的潜在空间彼此之间有何关系？我们研究了24个开源权重LLM不同层次激活引起的最近邻关系，并发现它们1) 在同一模型的不同层之间变化，且2) 大约在不同模型的相应层之间共享。Claim 2 表明这些最近邻关系并非任意的，因为它们在不同模型之间是共享的，但Claim 1 表明它们也不是“显而易见”的，因为并不存在一个普遍共享的最近邻关系集。这两者共同表明，LLM 从一层到另一层生成了一种激活几何体的演变，但这种整个演变在不同模型之间是大体共享的，并且被拉伸和挤压以适应不同的架构。