摘要
在三维内容中生成和插入新物体是实现灵活场景重建的一种引人注目的方法。现有的方法依赖于 SDS 优化或单视图修复,往往难以产生高质量的结果。为了解决这个问题,我们提出了一种新方法,用于在由高斯散点表示的三维内容中插入物体。我们的方法引入了一种多视图扩散模型,称为 MVInpainter,该模型建立在预先训练的稳定视频扩散模型的基础上,以促进视图一致的物体修复。在 MVInpainter 中,我们加入了一个基于 ControlNet 的条件注入模块,以实现受控且更可预测的多视图生成。在生成多视图修复结果后,我们进一步提出了一种掩模感知的三维重建技术,以从这些稀疏修复视图中细化高斯散点重建。通过利用这些伪造技术,我们的方法产生了多样化的结果,确保了视图一致和和谐的插入,并产生了更好的物体质量。大量的实验表明,我们的方法优于现有的方法。