LLM2D
距离之惑:上下文距离对图任务中大型语言模型性能的影响
Lost-in-Distance: Impact of Contextual Proximity on LLM Performance in Graph Tasks
作者: Hamed Firooz, Maziar Sanjabi, Wenlong Jiang, Xiaoling Zhai
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.01985v1

摘要

尽管取得了显著进步,大型语言模型 (LLM) 仍然存在盲点,这些盲点会损害其有效检索和处理相关上下文数据的的能力。我们证明,LLM 在超出“大海捞针”场景的复杂图任务中的性能——解决问题需要跨多个子问题进行交叉引用和推理——受相关信息在上下文中的距离影响,我们称之为“距离迷失”。我们研究了两个基本的图任务:识别两个节点之间的共同连接和评估三个节点之间的相似性,并表明模型在这些任务中的性能很大程度上取决于共同边的相对位置。我们评估了三个公开可用的 LLM——Llama-3-8B、Llama-3-70B 和 GPT-4——使用各种图编码技术,这些技术代表了 LLM 输入的图结构。我们提出了距离迷失现象的公式,并证明了距离迷失和中间迷失现象是独立发生的。结果表明,随着节点连接之间距离的增加,模型的准确性可能会下降高达 6 倍,这与图编码和模型大小无关。