arXiv:2501.00070v2 公告类型：替代-交叉 摘要：最近的研究表明，预训练数据规定的语义影响大型语言模型（LLM）中不同概念表示的组织方式。然而，考虑到LLM的开放性，例如它们的能力——在上下文中的学习，我们可以问这些模型是否会改变预训练语义以采纳上下文指定的替代语义。具体来说，如果我们在上下文中提供例子，其中某个概念的作用与预训练数据所建议的作用不同，模型是否会按照这些新颖的语义重新组织其表示？为了回答这个问题，我们从概念角色语义理论中获得灵感，定义了一个“图追踪”任务，其中图的节点通过在训练期间看到的概念（如苹果、鸟等）进行引用，并根据某种预定义结构（如正方形网格）定义图的连接性。给定表示图上随机游走痕迹的样本，我们分析模型的中间表示，并发现随着上下文的扩展，模型从预训练语义表示突然重新组织成与图结构对齐的上下文指定表示。此外，我们发现当引用概念在其语义上存在关联（如周一、周二等）时，虽然上下文指定的图结构仍然存在于表示中，但无法主导预训练结构。为了解释这些结果，我们将我们的任务类比为预定义图形拓扑的能最化过程，提供了隐含优化过程以推理上下文指定语义的证据。总体而言，我们的发现表明，扩大上下文规模可以灵活地重新组织模型表示，可能解锁新的功能。