LLM2D
你能把这些移到那边吗?一个基于LLM的VR搬移助手,用于支持物体操作
Can You Move These Over There? An LLM-based VR Mover for Supporting Object Manipulation
作者: Xiangzhi Eric Wang, Zackary P. T. Sin, Ye Jia, Daniel Archer, Wynonna H. Y. Fong, Qing Li, Chen Li
发布日期: 2/5/2025
arXiv ID: 2502.02201

摘要

arXiv:2502.02201v1 Announce Type: cross 摘要:在我们的日常生活中,我们自然可以通过语言和手势传达对物体空间操作的指示。将这种交互形式移植到虚拟现实(VR)物体操作中是有益的。我们提出了VR Mover,一种以语言模型(LLM)为动力的解决方案,可以理解并解释用户的语音指令,以支持物体操作。通过简单的指指点点和说话,LLM 可以在无需结构化输入的情况下操作物体。我们的用户研究显示,VR Mover 增强了用户易用性、整体体验和多物体操作性能,同时减轻了工作负担和手臂疲劳。用户更喜欢所提议的自然界面进行广泛的移动操作,并且可能会在需要精细调整时切换到迷你工具或虚拟手。这些发现被认为有助于未来基于LLM的物体操作界面的设计启示,突显了在VR环境中实现更加直观和高效的用户交互的潜力。