LLM2D
大规模语言-几何模型:当大规模语言模型遇到等变性
Large Language-Geometry Model: When LLM meets Equivariance
作者: Zongzhao Li, Jiacheng Cen, Bing Su, Wenbing Huang, Tingyang Xu, Yu Rong, Deli Zhao
发布日期: 2/20/2025
arXiv ID: oai:arXiv.org:2502.11149v2

摘要

arXiv:2502.11149v2 通告类型: replace-cross 摘要:准确预测物理系统的三维结构和动力学在科学应用中至关重要。现有的依赖几何图形神经网络(GNNs)的方法有效地实现了 $\mathrm{E}(3)$-不变性,但它们往往无法充分利用广泛的信息。虽然直接应用大型语言模型(LLMs)可以结合外部知识,但它们缺乏保证不变性的空间推理能力。在本文中,我们提出了一种名为 EquiLLM 的新型框架,该框架将 E(3)-不变性与 LLM 能力无缝集成。具体而言,EquiLLM 包含四个关键组件:几何感知提示、一个不变编码器、一个大型语言模型以及一个不变适配器。基本上,由指令提示引导的大型语言模型作为复杂的不变特征处理器,而 3D 方向信息则由不变编码器和适配器模块专门处理。实验结果表明,EquiLLM 在分子动力学模拟、人体运动模拟和抗体设计方面显著优于先前的方法,突显了其较强的通用性。