LLM2D
大型语言模型中范畴化和层次化概念的几何学
The Geometry of Categorical and Hierarchical Concepts in Large Language Models
作者: Kiho Park, Yo Joong Choe, Yibo Jiang, Victor Veitch
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2406.01506v2

摘要

大型语言模型(LLM)中语义概念的线性表示假设认为,语义概念以大型语言模型(LLM)表示空间中的线性方向进行编码。先前的工作已经展示了如何精确地将具有自然对比的二元概念(例如,{男性,女性})表示为表示空间中的方向。然而,许多自然概念并没有自然的对比(例如,输出是否关于动物)。在这项工作中,我们展示了如何扩展线性表示假设的形式化,以将特征(例如,is_animal)表示为向量。这使我们能够立即将类别概念的形式化表示为表示空间中的多胞体。此外,我们利用这种形式化来证明概念的层次结构与其表示的几何形状之间的关系。我们利用WordNet中的数据,在Gemma和LLaMA-3大型语言模型上验证了这些理论结果,估计了900多个层次相关概念的表示。