arXiv:2502.02883v1 通知类型: 新 摘要：自然语言与传感系统交互对于使所有用户能够理解传感器数据及其对其日常生活的影响至关重要。然而，现有的系统通常以问答（QA）的方式工作，在处理传感器数据的持续时间和复杂性方面存在明显限制。在本文中，我们介绍了SensorChat，这是首个专门为长期传感器监测设计的端到端问答系统，处理包括时间序列在内的多模态和高维数据。SensorChat能够有效地回答需要高级推理的定性问题和需要从传感器数据中获取精确响应的定量问题。为了实现这一点，SensorChat使用了一个创新的三阶段管道，包括问题分解、传感器数据查询和答案组装。第一和第三阶段利用大型语言模型（LLMs）进行直观的人机交互，并指导传感器数据查询过程。与现有的多模态LLMs不同，SensorChat包含一个显式的查询阶段，以精确提取长时间传感器数据中的事实信息。我们实现了SensorChat，并在云服务器上展示了其在实时交互方面的能力，经过量化后也可以完全在边缘平台上运行。全面的问答评估显示，与最先进的系统相比，SensorChat在定量问题上的答案准确性提高了26%。此外，一项包括八名志愿者的用户研究突出显示了SensorChat在处理定性和开放式问题方面的有效性。