arXiv:2505.10547v1 交叉发布类型: cross 摘要：基础模型可以在危险场景中提供稳健的高级推理，这些场景超出了机器人训练数据的范围，即分布外（OOD）故障。然而，由于大规模视觉和语言模型的高推理延迟，当前方法依赖于手动定义的干预策略来实现后备，从而缺乏规划可泛化的、语义安全的运动的能力。为了克服这些挑战，我们提出了一种名为FORTRESS的框架，该框架可以实时生成和推理语义安全的后备策略以防止分布外故障。在正常操作的低频次时，FORTRESS使用多模态推理器来识别目标并预测失败模式。当运行时监控器触发后备响应时，FORTRESS会迅速合成回退计划，并实时推理和避开语义不安全的区域。通过将开放世界、多模态推理与动力感知规划相结合，我们可以消除硬编码的后备和人工安全干预的需求。FORTRESS在模拟基准和真实世界的ANYmal机器人数据上的安全性分类准确性上优于慢推理模型的即席提示，并且进一步提高了模拟和四旋翼飞行器硬件中城市导航系统的安全性和规划成功。