摘要
语义分割是自动驾驶中一项重要的感知任务,但它面临着对抗样本的风险。近年来,深度学习逐渐从参数相对较少的卷积神经网络 (CNN) 模型过渡到参数数量庞大的基础模型。Segment Anything Model (SAM) 是一种通用的图像分割框架,能够处理各种类型的图像,并能够识别和分割图像中的任意物体,而无需针对特定物体进行训练。它是一个统一的模型,可以处理各种下游任务,包括语义分割、目标检测和跟踪。在自动驾驶的语义分割任务中,研究 SAM 的零样本对抗鲁棒性具有重要意义。因此,我们对 SAM 的鲁棒性进行了系统的实证研究,无需额外的训练。根据实验结果,SAM 在黑盒腐蚀和白盒对抗攻击下的零样本对抗鲁棒性是可以接受的,即使不需要额外的训练。这项研究的发现具有启发性,即庞大的模型参数和海量的训练数据导致了涌现现象,从而保证了对抗鲁棒性。SAM 是一种视觉基础模型,可以被视为通用人工智能 (AGI) 管道的早期原型。在这种管道中,一个统一的模型可以处理各种任务。因此,这项研究不仅考察了视觉基础模型对安全自动驾驶的影响,也为开发可信的 AGI 提供了视角。代码可在以下地址获取:https://github.com/momo1986/robust_sam_iv.