arXiv:2412.11520v2 宣布类型: replace-cross 摘要：近年来，3D编辑领域的进展突显了基于文本方法在实时、易用的AR/VR应用中的潜力。然而，当前的方法依赖于2D扩散模型，未能充分考虑多视角信息，导致多视角不一致。虽然3D Gaussian Splatting (3DGS) 大大提高了渲染质量和速度，但在3D编辑过程中，由于预训练的高斯分布保留了过多的源信息，导致优化效率低下，遇到了困难。为了克服这些限制，我们提出了一种新的基于文本的3D场景编辑框架EditSplat，该框架整合了Multi-view Fusion Guidance (MFG) 和Attention-Guided Trimming (AGT)。我们的MFG通过将多视角信息融入扩散过程中，确保多视角一致性，利用来自文本到图像扩散模型和3DGS固有的几何结构的分类器自由指导。此外，我们的AGT利用3DGS的显式表示来选择性地修剪和优化3D高斯分布，提高优化效率，使局部编辑更加精确且语义丰富。通过广泛的定性和定量评估，EditSplat达到了最先进的性能，建立了新的基于文本的3D场景编辑基准。