arXiv:2502.02406v2 交叉注意力类型: 交叉替换 摘要：交叉注意力在多模态大型语言模型（MLLMs）中广泛用于将视觉信息整合到语言骨干中。然而，在处理大量视觉输入的应用中，例如视频理解，交叉注意力层需要处理大量的视觉标记，这导致了高内存需求，并且通常需要在多个GPU上进行分布式计算。现有的分布式注意力机制面临显著的通信开销，使得交叉注意力层成为MLLMs高效训练和推理的关键瓶颈。为了解决这个问题，我们提出了LV-XAttn，这是一种具有最小通信开销的分布式精确交叉注意力机制。我们观察到，在涉及大量视觉输入的应用中，查询块的大小通常远小于键值块的大小。因此，在LV-XAttn中，我们将在每个GPU上保留较大的键值块，并在GPU之间交换较小的查询块。我们还引入了一种高效的激活重新计算技术，以支持更长的视觉上下文。我们从理论上分析了LV-XAttn的通信利益，并展示了它可以在广泛的不同模型上实现加速。我们对mPLUG-Owl3和OpenFlamingo模型的评估发现，LV-XAttn比现有方法实现了高达5.58倍的端到端加速。