LLM2D
零样本有害多模态内容预警生成
Zero-Shot Warning Generation for Misinformative Multimodal Content
作者: Giovanni Pio Delvecchio, Huy Hong Nguyen, Isao Echizen
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.00752v1

摘要

arXiv:2502.00752v1 类别: 新闻 摘要: misinformation 的广泛存在对社会造成了重大担忧。上下文无关的 misinformation,即真实图片配以虚假文本,尤其具有欺骗性,容易误导观众。目前大多数现有的检测方法主要评估图像-文本一致性,但常常缺乏足够的解释,这些解释对于有效地驳斥 misinformation 是至关重要的。我们提出了一种通过跨模态一致性检查检测多模态 misinformation 的模型,该模型的训练时间最少。此外,我们提出了一种轻量级模型,仅使用参数的三分之一就实现了竞争力的性能。我们还引入了一项双重用途的零样本学习任务,用于生成上下文相关的警告,从而实现自动驳斥并增强用户的理解能力。生成的警告在定性评估和人为评估中都突显了我们方法的潜在优势和局限性。