arXiv:2410.16668v3 公告类型: replace-cross 摘要：增强现实（AR）辅助越来越多地用于支持用户完成物理任务，如组装和烹饪。然而，大多数系统依赖于由用户输入触发的反应性响应，忽视了丰富的环境和用户特定的信息。为了解决这一问题，我们提出了Satori，一种新颖的AR系统，它主动引导用户，同时建模他们的心理状态和环境上下文。Satori将Belief-Desire-Intention（BDI）框架与最先进的多模态大语言模型（LLM）相结合，以提供适当的上下文指导。我们的系统基于对十二名专家进行的两阶段形成性研究设计。我们在十六项以内被试研究中评估了系统，并发现Satori在无需手动配置或启发式方法的情况下，匹配了设计师创建的Wizard-of-Oz（WoZ）系统的性能，从而提高了通用性、重用性，并扩展了AR辅助的潜在应用。