Segment Anything 模型 (SAM) 因其在未见数据和任务上的出色泛化能力而备受关注。尽管前景可期，但 SAM 的漏洞，尤其是对通用对抗性扰动 (UAP) 的漏洞，尚未得到深入研究。本文提出了 DarkSAM，这是第一个针对 SAM 的无提示通用攻击框架，包括基于语义解耦的空间攻击和基于纹理失真的频率攻击。我们首先将 SAM 的输出划分为前景和背景。然后，我们设计了一种阴影目标策略，以获取图像的语义蓝图作为攻击目标。DarkSAM 致力于通过从图像的空间域和频域中提取和破坏关键目标特征来欺骗 SAM。在空间域中，我们破坏了图像中前景和背景的语义，以混淆 SAM。在频域中，我们通过扭曲图像的高频成分（即纹理信息）进一步增强了攻击效果。因此，使用单个 UAP，DarkSAM 使 SAM 无法在不同提示下对各种图像进行分割。对 SAM 及其两个变体模型在四个数据集上的实验结果证明了 DarkSAM 的强大攻击能力和迁移性。