arXiv:2504.08906v1 announces 类型: cross 摘要：Segment Anything 模型（SAM）是一种广泛使用的视觉基础模型，具有多种应用，包括图像分割、检测和跟踪。鉴于 SAM 的广泛应用，理解其在对抗攻击下的鲁棒性对于实际部署至关重要。然而，对 SAM 的鲁棒性研究仍处于早期阶段。现有的攻击往往忽视了提示在评估 SAM 的鲁棒性中的作用，而在防御方法的探索方面也相对不足。为了解决这些差距，本文提出了一种对抗鲁棒性框架，旨在评估和增强 SAM 的鲁棒性。具体来说，我们引入了一种跨提示攻击方法，以增强不同提示类型之间的攻击可移植性。除了攻击之外，我们还提出了一种参数适配策略，以防御 SAM 面对各种对抗性攻击。为了平衡鲁棒性和准确性，我们使用奇异值分解（SVD）来约束可训练参数的空间，其中仅有奇异值是可调整的。实验表明，我们的跨提示攻击方法在 SAM 和 SAM 2 上的攻击成功率方面超过了先前的方法。通过仅适配 512 个参数，我们获得了至少 15% 的平均交叉并集（mIoU）相对于各种对抗性攻击的改进。与先前的防御方法相比，我们的方法在最大限度地保持 SAM 的原始性能的同时增强了其鲁棒性。