arXiv:2409.13926v1 公告类型: 新 摘要: 使用生成式AI为虚拟现实(VR)应用创建3D空间的关注度日益增加。然而,当前的模型生成的环境是人工的,无法支持从融入用户物理环境中受益的协作任务。为了生成支持VR远程呈现的环境,我们引入了SpaceBlender,这是一种利用生成式AI技术将用户的物理环境融入统一虚拟空间的新型管道。该管道通过一个迭代过程,将用户提供的2D图像转换为富含上下文的3D环境,该过程包括深度估计、网格对齐和基于扩散的空间完成,由几何先验和自适应文本提示引导。在一个初步的受试者内研究中,20名参与者两两一组进行协作VR亲和图绘制任务,我们将SpaceBlender与通用虚拟环境和最先进的场景生成框架进行了比较,评估其创建适合协作的虚拟空间的能力。参与者赞赏SpaceBlender提供的增强的熟悉感和上下文,但也指出生成环境中的复杂性可能会分散任务注意力。根据参与者反馈,我们提出了改进管道的方向,并讨论了不同场景下混合空间的价值和设计。