摘要
分数蒸馏采样 (SDS) 已成为文本驱动 3D 编辑任务中一种有效的框架,利用扩散模型进行 3D 一致性编辑。然而,现有的基于 SDS 的 3D 编辑方法存在训练时间长、结果质量低的问题。我们发现这种性能下降的根本原因是它们与扩散模型的采样动力学相冲突。解决这种冲突使我们能够将 SDS 视为通过从数据空间采样进行 3D 编辑的扩散逆过程。相比之下,现有方法简单地使用扩散模型来蒸馏评分函数。基于这些见解,我们提出了 DreamCatalyst,一个在 SDS 框架中考虑这些采样动力学的新框架。具体来说,我们设计了 DreamCatalyst 的优化过程来近似编辑任务中的扩散逆过程,从而与扩散采样动力学保持一致。因此,DreamCatalyst 成功地减少了训练时间并提高了编辑质量。我们的方法提供两种模式:(1) 快速模式,它编辑神经辐射场 (NeRF) 场景的速度比当前最先进的 NeRF 编辑方法快约 23 倍;(2) 高质量模式,它产生的结果比这些方法快约 8 倍。值得注意的是,我们的高质量模式在速度和质量方面都优于当前最先进的 NeRF 编辑方法。DreamCatalyst 还超越了最先进的 3D 高斯 splatting (3DGS) 编辑方法,成为一种有效且与模型无关的 3D 编辑解决方案。有关更多扩展结果,请访问我们的项目页面:https://dream-catalyst.github.io。