LLM2D
大型语言模型中类别性和层次性概念的几何学
The Geometry of Categorical and Hierarchical Concepts in Large Language Models
作者: Kiho Park, Yo Joong Choe, Yibo Jiang, Victor Veitch
发布日期: 2/19/2025
arXiv ID: oai:arXiv.org:2406.01506v3

摘要

arXiv:2406.01506v3 宣告类型: replace-cross 摘要: 线性表示假设是非正式的想法,认为语义概念在大型语言模型(LLMs)的表示空间中以线性方向的形式编码。先前的工作已经展示了如何将这一概念应用于表示具有自然对比的概念(例如,{男性,女性})到表示空间中的方向,使之更加精确。然而,许多自然概念并没有自然的对比(例如,输出是否涉及动物)。在本文中,我们展示了如何将线性表示假设的形式化扩展到将特征(例如,is_animal)表示为向量。这使得我们能够立即将分类概念的表示形式化为表示空间中的多面体。此外,我们使用形式化来证明概念的层次结构与其表示的空间几何之间的关系。我们在Gemma和LLaMA-3大型语言模型上验证了这些理论结果,使用WordNet中的数据估计了900多个层次相关概念的表示。