LLM2D
SensorChat:在长期多模态传感器交互中回答定性与定量问题
SensorChat: Answering Qualitative and Quantitative Questions during Long-Term Multimodal Sensor Interactions
作者: Xiaofan Yu, Lanxiang Hu, Benjamin Reichman, Dylan Chu, Rushil Chandrupatla, Xiyuan Zhang, Larry Heck, Tajana Rosing
发布日期: 5/16/2025
arXiv ID: oai:arXiv.org:2502.02883v2

摘要

arXiv:2502.02883v2 宣告类型:替换 摘要:自然语言与传感系统的交互对于解决用户的个人关切并提供与日常生活相关的健康见解至关重要。当用户提问时,系统会自动分析传感器数据的完整历史记录,提取相关信息并生成合适的响应。然而,现有的系统局限于短时程(例如,一分钟)或低频率(例如,每日步数)的传感器数据。此外,它们在处理需要精确数字回答的定量问题时存在困难。在这项工作中,我们引入了SensorChat,这是第一个专为日常监测设计的端到端问答系统,使用长时程、高频率的时间序列数据。给定多天的原始传感器信号和用户定义的自然语言问题,SensorChat生成语义上有意义的回应,直接解决用户关切。SensorChat能够有效处理需要数值精度的定量问题和需要高层次推理以推断主观见解的定性问题。为了实现这一点,SensorChat使用了一个创新的三阶段管道,包括问题分解、传感器数据查询和答案组装。第一和第三阶段利用大型语言模型(LLMs)来解释人类查询并生成回应。中间的查询阶段从完整的传感器数据历史中提取相关信息。实际的实施证明,SensorChat能够在云服务器上实现实时交互,经过量化后也能够在边缘平台上完全运行。全面的问答评估显示,与最先进的系统相比,SensorChat在定量问题上的答案准确性高出了93%。此外,对八名志愿者进行的用户研究表明,SensorChat在回答定性和开放式问题方面也表现出有效性。