LLM2D
ScenicNL:从自然语言生成概率场景程序
ScenicNL: Generating Probabilistic Scenario Programs from Natural Language
作者: Karim Elmaaroufi, Devan Shanker, Ana Cismaru, Marcell Vazquez-Chanlatte, Alberto Sangiovanni-Vincentelli, Matei Zaharia, Sanjit A. Seshia
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2405.03709v3

摘要

针对网络物理系统(CPS),包括机器人和自动驾驶汽车,大规模部署一直受到在罕见事件中发生的致命错误的阻碍。为了复制车辆碰撞等罕见事件,许多公司创建了日志系统并聘请了碰撞重建专家,以在模拟中精心重现这些宝贵的事件。然而,在这些方法中,"如果"问题不容易被提出和解答。我们提出了ScenarioNL,这是一个从自然语言创建场景程序的 AI 系统。具体来说,我们从警方事故报告中生成这些程序。报告通常包含关于事件确切细节的不确定性,我们通过概率编程语言(PPL) Scenic 来表示。通过使用 Scenic,我们可以清楚简洁地表示 CPS 行为、属性和交互的不确定性和变化。我们证明了常见的提示技术与最好的大型语言模型 (LLM) 无法推理关于概率场景程序并为 Scenic 等低资源语言生成代码。我们的系统由多个 LLM 组成,这些 LLM 与多种提示策略、编译器和模拟器链接在一起。我们在过去五年中从加州公开的自动驾驶汽车碰撞报告中评估了我们的系统,并分享了关于如何生成语义上有意义且语法上正确的代码的见解。