arXiv:2503.20804v1 安全类型：交叉学科 摘要：评估自主驾驶策略的安全性非常重要，而强化学习（RL）已成为发现驾驶策略中关键漏洞的强大方法。然而，现有的基于RL的方法往往难以识别既有效（即自主车辆确实对事故负责）又多样（涵盖多种故障类型）的漏洞。为了解决这些挑战，我们提出了一种名为AED的框架，该框架利用大规模语言模型（LLMs）自动发现自主驾驶策略中的有效和多样化的漏洞。首先，我们利用LLM自动设计RL训练的奖励函数。然后，让LLM考虑多种事故类型，并并行训练不同事故类型的对抗策略。最后，我们使用基于偏好的学习来过滤无效的事故，并提高每个漏洞的有效性。在多个模拟交通场景和测试策略的实验中，结果显示，AED发现的漏洞范围更广，并且攻防成功率更高，从而减少了手动奖励工程的需求，并提高了漏洞发现的多样性和有效性。