LLM2D
基于大型语言模型的生成式物联网的有效提示方法
Efficient Prompting for LLM-based Generative Internet of Things
作者: Bin Xiao, Burak Kantarci, Jiawen Kang, Dusit Niyato, Mohsen Guizani
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2406.10382v3

摘要

大型语言模型 (LLMs) 在各种任务中展现出非凡的能力,近年来将 LLMs 的能力整合到物联网 (IoT) 应用中引起了广泛的研究关注。由于安全问题,许多机构避免访问最先进的商业 LLM 服务,需要在本地网络环境中部署和使用开源 LLM。然而,开源 LLM 通常在性能方面存在更多限制,例如它们的算术计算和推理能力,并且将 LLM 应用于物联网的实际系统尚未得到充分探索。因此,在本研究中,我们提出了一种在本地网络环境中部署的基于 LLM 的生成式物联网 (GIoT) 系统。为了缓解 LLM 的局限性并提供具有竞争力的性能的服务,我们应用提示工程方法来增强开源 LLM 的能力,设计了一个提示管理模块和一个后处理模块来管理针对不同任务的定制提示并处理 LLM 生成的结果。为了证明所提议系统的有效性,我们将一个具有挑战性的表格问答 (Table-QA) 任务作为所提议系统的案例研究,因为表格数据通常比纯文本更具挑战性,因为它们具有复杂的结构、异构数据类型,有时还具有巨大的规模。我们在两个流行的 Table-QA 数据集上进行了全面的实验,结果表明,我们的提议可以实现与最先进的 LLM 相当的性能,证明了所提出的基于 LLM 的 GIoT 系统可以通过定制的提示方法提供具有竞争力的性能,并且可以轻松扩展到新的任务而无需训练。