arXiv:2410.15281v2 通知类型: 替换-交叉 摘要: 随着大型语言模型（LLMs）的更广泛使用及其高度成功的开发，人们越来越感兴趣并迫切希望将LLMs应用于自动驾驶技术。受到其自然语言理解和推理能力的驱动，LLMs有可能增强自动驾驶系统的各个方面，从感知和场景理解到语言交互和决策。在本文中，我们首先介绍了为自动驾驶设计LLMs（LLM4AD）的新型概念。然后，我们提出了一个全面的基准，用于评估LLM4AD在仿真中的指令跟随能力。此外，我们在实际车辆平台上进行了系列实验，全面评估了我们的LLM4AD系统的性能和潜力。最后，我们展望了LLM4AD的主要挑战，包括延迟、部署、安全和隐私、安全、信任和透明度，以及个性化。我们的研究突显了LLMs在从感知和场景理解到语言交互和决策等多个方面增强自动驾驶技术的巨大潜力。