arXiv:2503.22782v1 宣告类型: cross 摘要: 基于扩散的生成模型，如去噪扩散概率模型（DDPMs），在图像生成方面取得了显著的成功，但它们逐步去噪的过程仍然不够透明，留下了生成机制的重要方面尚未解释。为了解决这个问题，我们引入了\emph{Patronus}，一种受ProtoPNet启发的可解释扩散模型。Patronus将原型网络集成到DDPMs中，使原型的提取以及生成过程能够根据原型激活向量进行条件化。这种设计通过展示学习到的原型及其对生成过程的影响来增强可解释性。此外，该模型支持诸如图像操作之类的下游任务，使得在更透明和可控的条件下进行修改成为可能。而且，Patronus可以通过检测学习到的原型之间的不良相关性来揭示生成过程中的捷径学习。值得注意的是，Patronus完全不需要任何注解或文本提示。这项工作为进一步通过基于原型的可解释性理解并控制扩散模型开辟了新的途径。我们的代码可在\href{https://github.com/nina-weng/patronus}{https://github.com/nina-weng/patronus}找到。