arXiv:2409.14488v1 公告类型: 交叉 摘要: 将大型语言模型 (LLMs) 与自动驾驶 (AD) 系统结合的兴趣日益增长。然而，AD 系统在对象检测和跟踪 (ODT) 功能方面容易受到攻击。不幸的是，我们对四款近期 LLM 代理在 ODT 攻击下的评估显示，这些攻击在导致它们崩溃或违反交通规则方面成功率高达 63.26%，原因包括 (1) 误导性记忆模块为决策提供过往经验，(2) 提示在识别不一致性方面的局限性，以及 (3) 依赖于地面真实感知数据。本文介绍了 Hudson，一种扩展了先前基于 LLM 的驾驶系统的驾驶推理代理，旨在在感知攻击期间实现更安全的决策，同时在良性条件下保持有效性。Hudson 通过首先对 AD 软件进行检测，收集驾驶场景中的实时感知结果和上下文信息，然后将这些数据形式化为特定领域语言 (DSL) 来实现这一目标。为了指导 LLM 在 ODT 攻击期间检测并做出安全控制决策，Hudson 将 DSL 转换为自然语言，并附带一组自定义攻击检测指令。在查询执行后，Hudson 分析 LLM 的控制决策以理解其因果推理过程。我们使用专有 LLM (GPT-4) 和两款开源 LLM (Llama 和 Gemma) 在各种对抗性驾驶场景中评估了 Hudson 的有效性。GPT-4、Llama 和 Gemma 的平均攻击检测准确率分别为 83.3%、63.6% 和 73.6%。因此，它们在 86.4%、73.9% 和 80% 的攻击中做出了安全控制决策。我们的研究结果，紧随将 LLMs 整合到 AD 系统中的日益增长兴趣，突显了 LLMs 的优势及其在检测和缓解 ODT 攻击方面的潜力。