arXiv:2502.14908v2 宣告类型: replace-cross 摘要：视觉语言模型（VLM）展示了复杂的多模态推理能力，但在遇到知识冲突时容易产生幻觉，这阻碍了它们在信息敏感环境中的部署。虽然现有的研究关注于单模态模型的鲁棒性，但多模态领域缺乏对跨模态知识冲突系统的系统性调查。本研究引入了 \segsub，一种应用目标化图像扰动的框架，以调查 VLM 对知识冲突的韧性。我们的分析揭示了不同的脆弱性模式：虽然 VLM 对参数冲突表现出鲁棒性（20% 的一致性率），但在识别假设情境（<30% 的准确性）和解决来源冲突（<1% 的准确性）方面表现出显著的弱点。上下文丰富度与幻觉率之间的相关性（r = -0.368，p = 0.003）揭示了哪些类型的图像可能导致幻觉。通过在我们的基准数据集上进行目标化微调，我们展示了 VLM 知识冲突检测的改进，为在信息敏感环境中开发抗幻觉多模态系统奠定了基础。