LLM2D
SensorBench:基于传感器处理的LLM基准测试
SensorBench: Benchmarking LLMs in Coding-Based Sensor Processing
作者: Pengrui Quan, Xiaomin Ouyang, Jeya Vikranth Jeyakumar, Ziqi Wang, Yang Xing, Mani Srivastava
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2410.10741v3

摘要

arXiv:2410.10741v3 宣告类型: 修改 摘要:有效处理、解释和管理传感器数据已成为软件-物理系统的关键组成部分。传统上,处理传感器数据需要深厚的专业知识和信号处理工具的熟练掌握。然而,最近的研究表明,大语言模型(LLMs)在处理感测数据方面具有潜力,暗示其作为感测系统开发助理的潜力。 为了探索这一潜力,我们构建了一个全面的基准——SensorBench,以建立可量化的客观标准。该基准包含多种实际传感器数据集,用于各种任务。结果表明,虽然LLMs在简单的任务中表现出相当高的专业能力,但在与工程专家相比处理具有参数选择的组合任务时,它们面临固有的挑战。此外,我们研究了四种感测处理的提示策略,并展示了自验证在48%的任务中优于所有其他基线。我们的研究为未来的开发提供了全面的基准和提示分析,铺平了基于大语言模型的感测处理助理的道路。