arXiv:2504.19457v1 类型: cross 摘要：大规模语言模型（LLMs）在各种任务中展现了卓越的表现。然而，它们容易出现情境幻觉（contextual hallucination），生成与给定情境无关或自相矛盾的信息。尽管许多研究已经探讨了LLMs中的情境幻觉，但在处理长上下文输入方面的问题仍是一个开放性问题。在这项工作中，我们首先通过构建一个专门用于长上下文幻觉检测的数据集，迈出了解决这一问题的第一步。此外，我们提出了一种新颖的架构，使预训练的编码器模型（如BERT）能够处理长上下文，并通过分解和聚合机制有效地检测情境幻觉。我们的实验结果表明，所提出的架构在各种指标上显著优于相同规模的先前模型以及基于LLM的模型，同时还提供了显著更快的推理速度。