LLM2D
捕捉AI的注意力:重复、幻觉、偏见以及其他物理现象
Capturing AI's Attention: Physics of Repetition, Hallucination, Bias and Beyond
作者: Frank Yingjie Huo, Neil F. Johnson
发布日期: 4/8/2025
arXiv ID: oai:arXiv.org:2504.04600v1

摘要

arXiv:2504.04600v1 通告类型: 新 摘要: 我们推导出一种基于第一性原理的物理理论,解释了大规模语言模型(LLMs)"魔法"(例如,ChatGPT、Claude)核心AI引擎的基本注意头。该理论允许对输出重复、幻觉和有害内容等突出的AI挑战进行定量分析,并且适用于训练和微调带来的偏见。其预测结果与大规模LLM输出一致。其2体形式表明为什么大规模语言模型表现如此出色,但暗示一个更普遍的3体注意可能会使AI表现得更好。其与自旋浴的相似性意味着现有的物理学专业知识可以立即被利用,以帮助社会确保AI是值得信赖且对抗操控具有韧性的。