arXiv:2407.11394v3 通知类型: replace-cross 摘要：评分蒸馏采样（SDS）已成为文本驱动的3D编辑任务中的一种有效框架，利用扩散模型进行3D一致的编辑。然而，现有的基于SDS的3D编辑方法存在训练时间长且生成结果质量低的问题。我们发现这种性能退化的原因是“它们与扩散模型的采样动力学冲突”。解决这一冲突使我们能够将SDS视为通过在数据空间采样的3D编辑的反向扩散过程。相比之下，现有的方法简单地使用扩散模型蒸馏得分函数。从这些见解出发，我们提出了DreamCatalyst，这是一种新颖的框架，考虑了SDS框架中的这些采样动力学。具体来说，我们设计了DreamCatalyst的优化过程，以近似编辑任务中的反向扩散过程，从而与扩散采样动力学相一致。因此，DreamCatalyst成功地减少了训练时间并提高了编辑质量。我们的方法提供了两种模式：（1）快速模式，在当前最先进的NeRF编辑方法的基础上，大约快23倍地编辑Neural Radiance Fields（NeRF）场景；（2）高质量模式，在这些方法的基础上，大约快8倍地生成更优结果。值得注意的是，我们的高质量模式在速度和质量上都超越了最先进的NeRF编辑方法。DreamCatalyst还超越了最先进的3D Gaussian Splatting（3DGS）编辑方法，使其成为一种有效的且模型无关的3D编辑解决方案。请访问我们的项目页面查看更详细的成果：https://dream-catalyst.github.io。