arXiv:2505.06889v1 通知类型: cross 摘要：预训练语言模型（PLMs）通过预训练和微调在多种自然语言处理（NLP）任务中取得了卓越的性能。然而，通过对参数数量众多但下游数据集有限的模型进行微调，往往会导致模型对对抗攻击的脆弱性增加，从而在标准数据集上过拟合。 为了应对这些问题，我们从动态系统视角出发，将BERT的一层概念化为常微分方程（ODEs）的解，并在初始值扰动的情况下分析了两种主要的数值ODE求解器：显式欧拉法和隐式欧拉法的数值稳定性。 基于这些分析，我们引入了一种数值稳健的IM-连接，结合了BERT的层。该策略增强了PLMs在对抗攻击下的鲁棒性，即使在资源有限的情景下也是如此，而无需引入额外的参数或对抗训练策略。 通过对抗GLUE（AdvGLUE）数据集上的实验结果验证了IM-BERT在各种条件下的鲁棒性。与原始BERT相比，在AdvGLUE数据集上，IM-BERT的性能提升了约8.3%。此外，在资源有限的情景中，IM-BERT表现优于BERT，准确率提升了5.9%。