LLM2D
合成神经元的多义性 towards 新型解释分类向量空间
Polysemy of Synthetic Neurons Towards a New Type of Explanatory Categorical Vector Spaces
作者: Michael Pichat, William Pogrund, Paloma Pichat, Judicael Poumay, Armanouche Gasparian, Samuel Demarchi, Martin Corbet, Alois Georgeon, Michael Veillet-Guillem
发布日期: 5/14/2025
arXiv ID: oai:arXiv.org:2505.07831v1

摘要

arXiv:2505.07831v1 交叉类型公告 摘要:人工智能语言模型中的合成神经元的多义性目前被理解为是由于潜在空间内分布式特征的必要叠加的结果。我们提出了一种替代方法,从几何定义第n层的神经元为一个非正交基组成的分类向量空间,该非正交基由第n-1层前一个神经元提取的分类子维度组成。这种分类向量空间通过每个神经元的激活空间结构化,并通过神经元内部注意过程,识别和利用关键分类区域,以提高语言模型的效率——这种区域更加同质,并位于这些不同分类子维度的交集中。