arXiv:2504.03738v1 宣布类型: cross 摘要：注意机制已成为扩散模型中的基础组件，显著影响了其在各种生成和判别任务中的能力。本文对扩散模型中的注意机制进行了全面回顾，系统分析了其在不同模态和任务中的角色、设计模式和操作。我们提出了一种统一的分类法，根据它们影响的结构组件将注意力相关的修改分为不同的部分，提供了一个清晰的视角来理解它们的功能多样性。除了回顾架构创新之外，我们还探讨了注意机制如何在各种应用中推动性能提升。我们还识别了当前的局限性和未充分探索的领域，并概述了未来研究的潜在方向。我们的研究为扩散模型不断演变的景观提供了有价值的见解，特别是在注意机制的整合和普遍作用方面进行了特别关注。