摘要
arXiv:2502.11753v1 宣传类型: 新
摘要: 通过事实核查可以对抗虚假信息,但这一过程成本高且耗时。识别可核查的断言是第一步,自动化可以协助扩大事实核查人员的努力范围。然而,检测方法在处理以下内容时存在困难:1) 多模态内容,2) 来源于多种领域,3) 合成内容。我们介绍了HintsOfTruth,这是一个包含27000对现实世界和合成的图像/断言对的多模态可信度检测公开数据集。现实和合成数据的混合使该数据集独具特色,非常适合用于评估检测方法。我们比较了微调和提示大型语言模型(LLMs)。我们发现,配置得当的轻量级文本编码器在性能上与多模态模型相当,但仅侧重于识别非断言样式的内容。多模态LLMs可能更准确,但会带来显著的计算成本,这使得它们在大规模应用中不够实用。在面对合成数据时,多模态模型表现出更稳定的性能。