摘要
arXiv:2502.02201v1 Announce Type: cross
摘要:在我们的日常生活中,我们自然可以通过语言和手势传达对物体空间操作的指示。将这种交互形式移植到虚拟现实(VR)物体操作中是有益的。我们提出了VR Mover,一种以语言模型(LLM)为动力的解决方案,可以理解并解释用户的语音指令,以支持物体操作。通过简单的指指点点和说话,LLM 可以在无需结构化输入的情况下操作物体。我们的用户研究显示,VR Mover 增强了用户易用性、整体体验和多物体操作性能,同时减轻了工作负担和手臂疲劳。用户更喜欢所提议的自然界面进行广泛的移动操作,并且可能会在需要精细调整时切换到迷你工具或虚拟手。这些发现被认为有助于未来基于LLM的物体操作界面的设计启示,突显了在VR环境中实现更加直观和高效的用户交互的潜力。