摘要
增强现实辅助技术在支持用户完成组装和烹饪等任务方面越来越受欢迎。然而,目前的实践通常提供由用户请求初始化的被动响应,缺乏对丰富的上下文和用户特定信息的考虑。为了解决这一限制,我们提出了一种新颖的增强现实辅助系统 Satori,它对用户状态和环境上下文进行建模以提供主动指导。我们的系统结合了信念-欲望-意图 (BDI) 模型和最先进的多模态大型语言模型 (LLM),以推断上下文相关的指导。该设计参考了两项涉及十二位专家的形成性研究。一项包含十六位受试者的组内研究发现,Satori 达到了与人工设计的奥兹魔法师 (WoZ) 系统相当的性能,而无需依赖手动配置或启发式方法,从而增强了通用性、可重用性,并为增强现实辅助技术开辟了新的可能性。