arXiv:2504.04893v3 宣传类型: 替换交叉 摘要：版式攻击利用了文本和视觉内容在多模态基础模型中的相互作用，在图像中嵌入误导性文本时导致分类错误。然而，现有的数据集在规模和多样性方面都有限，这使得研究这些漏洞变得困难。在本文中，我们引入了SCAM，这是迄今为止规模最大、最多样化的实际世界版式攻击图像数据集，包含了跨越数百个对象类别和攻击词汇的1,162张图像。通过在SCAM上对视觉-语言模型（VLMs）进行全面基准测试，我们证明了版式攻击显著降低了性能，并确定了训练数据和模型架构影响这些攻击的易感性。我们的研究发现，由于它们的选择的视觉编码器，最先进的大型视觉-语言模型（LVLMs）仍然存在版式攻击，尽管较大的大型语言模型（LLMs）骨干可以减轻这些攻击的脆弱性。此外，我们证明了合成攻击与真实世界的（手写）攻击极为相似，验证了其在研究中的使用。我们的工作提供了一个全面的资源和实证见解，以促进对鲁棒性和值得信赖的多模态AI系统的未来研究。我们将在www.bliss.berlin/research/scam上公开发布本文中介绍的数据集以及评估代码。