LLM2D
大型语言模型指导的特征发现改善了视觉内容可信度感知的预测与解释
Large Language Model-Informed Feature Discovery Improves Prediction and Interpretation of Credibility Perceptions of Visual Content
作者: Yilang Peng, Sijia Qian, Yingdan Lu, Cuihua Shen
发布日期: 4/16/2025
arXiv ID: oai:arXiv.org:2504.10878v1

摘要

arXiv:2504.10878v1 型别: cross 摘要: 在当今以视觉为主的社交媒体环境中,预测视觉内容的感知可信度并了解人类判断的驱动力对于对抗虚假信息至关重要。然而,由于视觉特征的多样性和丰富性,这些任务具有挑战性。我们提出了一种由大语言模型(LLM)启发的特征发现框架,该框架利用多模态LLM(如GPT-4o)来评估内容的可信度并解释其推理过程。我们使用特定提示提取并量化可解释的特征,并将这些特征整合到机器学习模型中以提高可信度预测。我们在八项科学、健康和政治主题的4,191条视觉社交媒体帖子上进行了测试,使用了5,355名众包工人的可信度评分。我们的方法在R2上比零样本GPT预测高出13个百分点,并揭示了关键特征,如信息具体性和图像格式。我们讨论了这些方法对虚假信息缓解、视觉可信度以及LLM在社会科学中的作用的影响。