arXiv:2502.01533v1 声明类型：交叉 摘要：虽然传统的Transformer通常处理序列数据，但它们可以与结构模型结合使用，通常是SE(3)不变或协变的图神经网络（GNN），用于3D应用，如蛋白质结构建模。这些混合模型通常涉及以下两种方式之一：（1）预处理/标记结构特征作为Transformer的输入，或者（2）将Transformer嵌入在结构表示中进行处理。然而，有证据表明，Transformer可以学会独立处理结构信息，例如AlphaFold3的结构扩散模型。在本文中，我们展示当传递坐标的一维嵌入时，Transformer可以作为独立的结构模型进行功能运作。我们首先提供了一种理论解释，说明Transformer如何学习将注意力过滤为具有学习方差的3D高斯。然后，我们使用模拟的3D点和蛋白质掩码标记预测的上下文中验证了这一理论。最后，我们展示了使用结构预训练蛋白质Transformer编码器可以提高下游任务的性能，优于定制的结构模型。综上所述，本文为使用标准Transformer作为混合结构-语言模型提供了基础。