arXiv:2411.18676v2 评估类型: 替换交叉 摘要：语言条件化的机器人模型有潜力使机器人能够根据自然语言指令执行广泛的任务。然而，评估它们的安全性和有效性仍然具有挑战性，因为难以测试一个任务可以用所有不同的方式来表述。当前的基准存在两个关键局限性：它们依赖于少量的人类生成的指令，忽略了众多的挑战性案例，并且仅关注任务性能而不评估安全性，比如避免造成损坏。为了解决这些缺口，我们引入了实体化红队测试（ERT），这是一种新的评估方法，能够生成多样且具有挑战性的指令来测试这些模型。ERT 使用自动化红队测试技术与视觉语言模型（VLMs）来创建上下文相关的困难指令。实验结果表明，最先进的语言条件化的机器人模型在ERT生成的指令下失败或表现出不安全的行为，突显了当前基准在评估实际性能和安全性方面的不足。代码和视频可以在以下网址获取：https://s-karnik.github.io/embodied-red-team-project-page。