LLM2D
大型语言-几何模型:当大语言模型遇到等变性
Large Language-Geometry Model: When LLM meets Equivariance
作者: Zongzhao Li, Jiacheng Cen, Bing Su, Wenbing Huang, Tingyang Xu, Yu Rong, Deli Zhao
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.11149v1

摘要

arXiv:2502.11149v1 类型:交叉学科 摘要:准确预测物理系统的三维结构和动力学在科学应用中至关重要。现有的依赖几何图神经网络(GNNs)的方法有效地施加了 $\mathrm{E}(3)$-等变性,但它们往往难以充分利用广泛的外部信息。虽然可以直接应用大规模语言模型(LLMs)来整合外部知识,但它们缺乏以保证等变性的方式进行空间推理的能力。在本文中,我们提出了一种名为 EquiLLM 的新框架,该框架无缝地将 $\mathrm{E}(3)$-等变性与 LLM 能力整合在一起。具体而言,EquiLLM 包含四个关键组件:几何感知提示、等变编码器、LLM 和等变适配器模块。本质上,受指导性提示引导的 LLM 作为复杂的不变特征处理器,而 3D 方向信息则通过等变编码器和适配器模块单独处理。实验结果表明,EquiLLM 在分子动力学模拟、人体运动模拟和抗体设计等领域中显著优于以前的方法,突出显示了其强大的泛化能力。