arXiv:2409.14165v1 公告类型: 新 摘要: 人工智能（AI）在自动驾驶（AD）研究中扮演着至关重要的角色，推动其向智能化和高效化发展。目前，AD技术的发展遵循两条主要技术路径：模块化和端到端。模块化将驾驶任务分解为感知、预测、规划和控制等模块，并分别进行训练。由于模块间训练目标的不一致性，集成效果存在偏差。端到端试图通过使用单一模型直接从传感器数据映射到控制信号来解决这一问题。这条路径在学习全面特征方面能力有限，难以处理不可预测的长尾事件和复杂的城市交通场景。面对两条路径中遇到的挑战，许多研究人员认为，具有强大推理能力和广泛知识理解的大型语言模型（LLMs）可能是解决方案，期望LLMs为AD系统提供更深层次的理解和决策能力。鉴于两条路径面临的挑战，许多研究人员认为，LLMs凭借其强大的推理能力和广泛的知识，可能提供解决方案。为了了解LLMs是否能增强AD，本文对LLMs在AD系统中的潜在应用进行了全面分析，包括探索其在模块化和端到端方法中的优化策略，特别关注LLMs如何解决当前解决方案中的问题和挑战。此外，我们讨论了一个重要问题：基于LLM的人工通用智能（AGI）是否是实现高级AD的关键？我们进一步分析了LLMs在推动AD技术发展中可能遇到的潜在限制和挑战。