LLM2D
通过动态 Margin 最大化和改进的 Lipschitz 正则化实现认证鲁棒性
Certified Robustness via Dynamic Margin Maximization and Improved Lipschitz Regularization
作者: Mahyar Fazlyab, Taha Entesari, Aniket Roy, Rama Chellappa
发布日期: 3/27/2025
arXiv ID: oai:arXiv.org:2310.00116v4

摘要

arXiv:2310.00116v4 Announce Type: replace-cross 摘要:为了提高深度分类器对抗对抗扰动的鲁棒性,已经提出了许多方法,例如设计具有更好鲁棒性属性的新架构(例如,有界Lipschitz网络),或者修改训练过程本身(例如,最小最大优化、约束学习或正则化)。然而,这些方法可能无法有效增加输入(特征)空间中的信心边际。因此,越来越多的研究兴趣转向开发可以直接操作输入空间决策边界的训练程序。在本文中,我们在此类别最新进展的基础上,开发了一种鲁棒性训练算法,其目标是在不损害模型在脆弱方向上的Lipschitz常数的情况下,增加输出(logit)空间中的边际。我们展示了这两个目标可以直接促进输入空间中的更大边际。为此,我们开发了一种可扩展的方法,以准确且高效地计算神经网络的有保障的可微上界Lipschitz常数。相对准确的界防止过度正则化,并允许更直接地操纵决策边界。此外,我们的Lipschitz边界算法利用了激活层的单调性和Lipschitz连续性,由此产生的界可以用于设计具有可控制的Lipschitz常数的新层。在MNIST、CIFAR-10和Tiny-ImageNet数据集上的实验验证了我们提出的方法与最先进的方法相比取得了竞争力的改进结果。