摘要
具身人工智能 (EAI) 将先进的 AI 模型集成到物理实体中以进行现实世界交互。基础模型作为 EAI 智能体进行高级任务规划的“大脑”的出现已显示出可喜的结果。然而,将这些智能体部署到物理环境中带来了重大的安全挑战。例如,缺乏足够风险意识的保洁机器人可能会将金属容器放入微波炉中,从而可能引发火灾。为了解决这些关键的安全问题,部署前的全面风险评估势在必行。本研究介绍了 EAIRiskBench,这是一种用于自动评估 EAI 场景中物理风险的新框架。EAIRiskBench 采用多智能体协作系统,利用各种基础模型来生成安全指南、创建易发生风险的场景、进行任务规划并系统地评估安全。利用该框架,我们构建了 EAIRiskDataset,其中包含来自各个领域的各种测试案例,包括文本和视觉场景。我们对最先进的基础模型的综合评估揭示了令人担忧的结果:所有模型都表现出较高的任务风险率 (TRR),所有评估模型的平均值为 95.75%。为了应对这些挑战,我们进一步提出了两种基于提示的风险缓解策略。虽然这些策略在降低 TRR 方面显示出一定的效果,但改进有限,仍然表明存在重大的安全问题。这项研究首次对 EAI 智能体的物理风险意识进行了大规模评估。我们的研究结果强调了 EAI 系统中增强安全措施的迫切需要,并为未来在开发更安全的具身人工智能系统方面的研究方向提供了宝贵的见解。数据和代码可在 https://github.com/zihao-ai/EAIRiskBench 获取。