LLM2D
大型语言模型也会幻觉图:结构视角
LLMs hallucinate graphs too: a structural perspective
作者: Erwan Le Merrer, Gilles Tredan
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2409.00159v2

摘要

众所周知,大型语言模型 (LLMs) 会产生幻觉,即它们将不正确的信息作为事实返回。本文介绍了一种以结构化形式(图)研究这些幻觉的可能性。在此背景下,幻觉是指在提示文献中已知图(例如空手道俱乐部、悲惨世界、图集)时产生的不正确输出。这些幻觉图的优势在于它们比陈述的事实准确性(或不准确性)要丰富得多;因此,本文认为这种丰富的幻觉可以用来描述大型语言模型的输出。我们的第一个贡献是观察到主要现代大型语言模型的拓扑幻觉的多样性。我们的第二个贡献是提出了一种衡量这种幻觉幅度的指标:图集距离,即从图集集中多个图的平均图编辑距离。我们将该指标与幻觉排行榜进行比较,幻觉排行榜利用 10,000 倍以上的提示来获得其排名。