LLM2D
将局部意识注意力与变压器结合用于通用几何偏微分方程
Integrating Locality-Aware Attention with Transformers for General Geometry PDEs
作者: Minsu Koh, Beom-Chul Park, Heejo Kong, Seong-Whan Lee
发布日期: 4/21/2025
arXiv ID: oai:arXiv.org:2504.13480v1

摘要

arXiv:2504.13480v1 公告类型:交叉 摘要:神经操作符作为学习由偏微分方程(PDEs)支配的映射的有前途的框架已经崭露头角,它们为传统的数值方法提供了基于数据的替代方案。尽管像Fourier神经操作符(FNO)这样的方法已经在性能上展示了显著成效,但它们对均匀网格的依赖限制了它们在复杂几何形状和不规则网格上的应用。最近,基于Transformer的神经操作符,特别是采用线性注意力机制的版本,在克服这些局限性以处理大规模PDE模拟方面展现了潜力。然而,这些方法主要侧重于全局特征聚合,常常忽视了对于准确解至关重要的细观动力学和局部PDE行为。为了应对这些挑战,我们提出了本地感知注意力Transformer(LA2Former),它借助K最近邻进行动态的切片处理,并结合全局-局部注意力以提升PDE建模能力。通过结合线性注意力进行高效的整体上下文编码以及对偶注意力捕捉复杂的局部交互,LA2Former实现了计算效率和预测准确性之间的最佳平衡。通过对六个基准数据集的广泛评估表明,LA2Former相对于现有的线性注意力方法,预测准确性提高了超过50%,同时在最优条件下也优于完全对偶注意力方法。这项工作强调了在复杂和不规则域上求解PDEs时基于Transformer的神经操作符中本地特征学习的重要性。