arXiv:2407.13089v2 公告类型: 替换 摘要: 核实现实世界中的声明通常需要审查多个多模态文档以评估声明的真实性，这是一项极其耗时且费力的任务。本文提出了一种摘要生成模型，旨在从多模态、多文档数据集中生成适用于事实核查的特定声明摘要。该模型以文档、图像和声明为输入，旨在辅助事实核查任务。我们引入了一种基于动态感知器的模型，能够处理来自多种模态且长度任意的输入。为了训练我们的模型，我们利用了一种新颖的基于强化学习的蕴含目标，以生成能够区分不同真实性标签的证据摘要。为了评估我们方法的有效性，我们在现有基准和我们贡献的新多文档声明数据集上进行了实验。我们的方法在MOCHEG数据集上的声明验证任务中比现有最先进的方法高出4.6%，并在我们的新Multi-News-Fact-Checking数据集上展示了强大的性能。