摘要
大型语言模型(LLMs)作为阅读和摘要助手工具正日益流行。然而,当它们与混合现实(MR)界面结合以支持日常阅读助手时,其潜在优势知之甚少。我们开发了RealitySummary,这是一款MR阅读助手,能够无缝整合LLMs、始终开启的相机访问、基于OCR的文本提取以及在MR界面中的增强空间和视觉响应。RealitySummary通过迭代开发,经历了三个版本,每个版本都由用户反馈和反思分析所塑造:1)初步用户研究以了解用户感知(N=12),2)实地部署以探索真实世界中的使用情况(N=11),以及3)日记研究以捕捉真实工作环境中的见解(N=5)。我们的研究结果突显了结合AI和MR的独特优势,包括始终开启的隐式助手、最小化的上下文切换以及空间功能,展示了未来LLM-MR界面在传统屏幕交互之外的巨大潜力。