大型语言模型 (LLM) 在文本和视觉领域展现出非凡的能力，但往往会生成违反物理定律的输出，暴露了它们对物理世界的理解缺失。受人类认知的启发，感知是推理的基础，我们探索了利用物联网 (IoT) 传感器数据和相关知识来增强 LLM 的感知能力，以便在物理世界中进行物联网任务推理。在这项工作中，我们系统地研究了 LLM 通过增强感知和知识库来解决现实世界物联网任务的能力，并提出了一个统一框架 IoT-LLM 来增强这种能力。在 IoT-LLM 中，我们针对 LLM 定制了三个步骤：将物联网数据预处理成 LLM 可接受的格式，通过思维链提示和专门的角色定义激活它们的常识性知识，以及通过基于上下文学习的物联网导向检索增强生成来扩展它们的理解。为了评估性能，我们设计了一个新的基准，其中包含五个具有不同数据类型和推理难度的现实世界物联网任务，并提供了六个开源和闭源 LLM 的基准测试结果。实验结果表明，现有的 LLM 存在局限性，它们无法有效地执行这些任务，因为它们只能接收简单的文本输入。我们证明了 IoT-LLM 显著增强了 LLM 的物联网任务推理性能，例如 GPT-4，与之前的方法相比，在各种任务中平均提高了 65%。结果还展示了 LLM 通过提供推理过程来理解物联网数据和数据背后的物理定律的能力。我们工作的局限性旨在为这个新时代的未来研究提供启发。