arXiv:2505.03084v1 安全公告类型: 交叉 摘要: 多模态模型的引入是人工智能的一大进步。一个单一的模型被训练来理解多种模态：文本、图像、视频和音频。开源多模态模型使这些突破更具可访问性。然而，考虑到这些模态之间广泛的对抗性攻击，这些模型也继承了所有模态的脆弱性，并最终使对抗性威胁加剧。尽管在这些模态内部或之间可能存在攻击的广泛研究中，能够为从业者概述攻击类型的观点在多模态世界中仍然缺席。随着更多的机器学习从业者采用、微调并在实际应用中部署开源模型，他们能够了解威胁场景并采取必要的预防措施至关重要。本文通过调查针对所有四种模态的对抗性攻击（文本、图像、视频和音频）弥补了这一差距。该调查提供了对抗性攻击场景的视角，并展示了多模态对抗性威胁如何演变。据我们所知，这是第一次全面总结多模态世界中威胁场景的调查。