arXiv:2410.12836v2 更新类型: 替换-交叉 摘要：鉴于专业3D软件的学习曲线陡峭以及管理和处理大型3D资产所需的时间，语言引导的3D场景编辑在虚拟现实、增强现实和游戏等领域具有巨大的潜力。然而，近期的语言引导3D场景编辑方法要么需要人工干预，要么只关注外观修改而不支持全面的场景布局变化。针对这一问题，我们提出了一种名为EditRoom的统一框架，该框架能够通过自然语言命令执行多种布局编辑，无需人工干预。具体而言，EditRoom利用大型语言模型（LLMs）进行指令规划，并使用基于扩散的方法生成目标场景，支持六种类型的编辑：旋转、平移、缩放、替换、添加和删除。为了应对语言引导3D场景编辑数据的缺乏，我们开发了一个自动化流水线来扩充现有的3D场景合成数据集，并引入了包含83,000个编辑配对的EditRoom-DB大規模数据集，用于训练和评估。我们的实验表明，我们的方法在所有指标上都优于其他基线方法，表明在语言引导的场景布局编辑中具有更高的准确性和一致性。