摘要
卷积神经网络(CNN)在许多视觉任务中表现出色,但它们往往对人眼无法察觉的微小输入扰动很敏感,常常导致任务失败。最近的研究表明,使用神经记录训练具有促进类脑表示的正则化器的 CNN 可以提高模型的鲁棒性。然而,使用神经数据的需求严重限制了这些方法的效用。是否有可能开发出模仿神经正则化器计算功能的正则化器,而无需神经记录,从而扩展这些技术的可用性和有效性?在这项工作中,我们检查了 Li 等人 (2019) 提出的一个神经正则化器,以提取其潜在优势。该正则化器使用神经表示相似性,我们发现这些相似性也与像素相似性相关。受此发现的启发,我们引入了一种新的正则化器,它保留了原始正则化器的本质,但使用图像像素相似性进行计算,从而消除了对神经记录的需求。我们表明,我们的正则化方法 1) 显着提高了模型对各种数据集上的一系列黑盒攻击的鲁棒性,以及 2) 计算成本低廉,仅依赖于原始数据集。我们的工作探讨了如何使用生物启发的损失函数来推动人工神经网络的性能。