LLM2D
从行车记录仪视频到驾驶模拟:对自动驾驶车辆进行罕见事件压力测试
From Dashcam Videos to Driving Simulations: Stress Testing Automated Vehicles against Rare Events
作者: Yan Miao, Georgios Fainekos, Bardh Hoxha, Hideki Okamoto, Danil Prokhorov, Sayan Mitra
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.16027v1

摘要

利用仿真环境中逼真的驾驶场景测试自动驾驶系统(ADS)对于验证其性能至关重要。然而,由于解释高维视频数据复杂且精确手动重建场景耗时,将真实世界的驾驶视频转换为仿真场景是一项重大挑战。在这项工作中,我们提出了一种新颖的框架,该框架可自动将真实世界的汽车碰撞视频转换为用于ADS测试的详细仿真场景。我们的方法利用提示工程视频语言模型(VLM)将行车记录仪镜头转换为SCENIC脚本,这些脚本在CARLA模拟器中定义环境和驾驶行为,从而能够生成逼真的仿真场景。重要的是,我们的框架并非仅仅旨在进行一对一的场景重建,而是专注于捕捉原始视频中的基本驾驶行为,同时在天气或道路状况等参数方面提供灵活性,以促进基于搜索的测试。此外,我们引入了一种相似性度量,通过比较真实视频和模拟视频之间驾驶行为的关键特征,帮助迭代地细化生成的场景。我们的初步结果表明,该方法具有显著的时间效率,可在几分钟内完成真实到仿真的转换,实现完全自动化且无需人工干预,同时保持对原始驾驶事件的高保真度。