arXiv:2302.10184v2 宣告类型: replace-cross 摘要: 我们提出了注意力启发的数值求解器(AttNS)，这是一种简洁的方法，有助于解决由于数据有限而导致的AI-Hybrid数值求解器在解微分方程时面临的泛化和鲁棒性问题。AttNS 受 Residual Neural Networks (ResNet) 中注意力模块的有效性启发，这些模块增强了传统深度学习任务的模型泛化能力和鲁棒性。基于 ResNet 的动力系统视角，我们无缝地将注意力机制融入了针对解微分方程特点设计的数值方法中。在从高维问题到混沌系统的一系列基准测试中，结果表明，AttNS 在提高各种数值求解器性能方面具有显著效果，无需复杂的模型设计。最后，我们从实验和理论两个方面分析了 AttNS，证明了其在确保求解器收敛的同时，能够实现强大的泛化能力和鲁棒性。这包括与其他先进技术相比，使用较少的数据即可达到相似的泛化误差，并且在解微分方程时更好地防止数值爆炸问题。