摘要
arXiv:2504.06269v1 交叉类型公告:
摘要:虚假信息继续构成当今信息生态系统中的重大挑战,深刻地影响着公众的认知和行为。在其各种表现形式中,脱离上下文(OOC)的虚假信息尤为隐秘,因为它通过将真实的图像与误导性的文字叙述配对,扭曲了意义。现有检测OOC虚假信息的方法主要依赖于图像-文本对之间的粗粒度相似性度量,往往无法捕捉到细微的不一致或提供有意义的解释性信息。虽然多模态大型语言模型(MLLMs)在视觉推理和解释生成方面展现出惊人的能力,但它们尚未证明有能力解决复杂、细粒度且跨模态的区别,这对于稳健的OOC检测至关重要。为克服这些限制,我们引入了EXCLAIM,这是一种基于检索的框架,旨在通过多粒度的多模态事件和实体索引来利用外部知识。我们的方法将多粒度上下文分析与多代理推理架构相结合,系统性地评估多模态新闻内容的一致性和完整性。全面的实验验证了EXCLAIM的有效性和鲁棒性,证明了其在检测OOC虚假信息方面比最先进的方法高出4.3%的准确性,同时提供了可解释且可操作的洞察。