摘要
卷积神经网络 (CNN) 在许多视觉任务中表现出色,但它们往往对人类肉眼无法察觉的轻微输入扰动很敏感,这经常会导致任务失败。最近的研究表明,使用神经记录训练具有促进大脑类表示的正则化器的 CNN 可以提高模型的鲁棒性。然而,使用神经数据的要求严重限制了这些方法的实用性。是否可以开发出模仿神经正则化器计算功能的正则化器,而无需神经记录,从而扩展这些技术的可用性和有效性?在这项工作中,我们检查了 Li 等人 (2019) 中介绍的一种神经正则化器,以提取其潜在优势。该正则化器使用神经表征相似性,我们发现这些相似性也与像素相似性相关。受此发现的启发,我们引入了一种新的正则化器,它保留了原始正则化器的本质,但使用图像像素相似性进行计算,从而消除了对神经记录的需求。我们证明了我们的正则化方法 1) 显着提高了模型对各种数据集上各种黑盒攻击的鲁棒性,以及 2) 计算成本低廉,仅依赖于原始数据集。我们的工作探讨了如何使用生物学驱动的损失函数来推动人工神经网络的性能。