arXiv:2411.01639v3 公告类型: 替换交叉 摘要：多模态基础模型为通过处理感知输入来生成可执行计划以实现机器人的感知和规划提供了一个有希望的框架。然而，在感知（感官解释）和决策（计划生成）中处理不确定性仍然是确保任务可靠性的关键挑战。我们提出了一种全面的框架来分离、量化和减轻这两种形式的不确定性。我们首先提出了一种分离不确定性框架，将感知不确定性与视觉理解的局限性隔离，以及将决策不确定性与生成计划的鲁棒性联系起来。 为了量化每种类型的不确定性，我们提出了适应感知和决策独特属性的方法：我们使用 conformal 预测校准感知不确定性，并引入基于形式方法的预测（FMDP）来量化决策不确定性，利用形式验证技术提供理论保证。在这一量化的基础上，我们实现了一种有针对性的干预机制：一个动态重新观察高不确定性的场景的过程，以提高视觉输入质量，并且一种自动精化程序，该程序在高确定性数据上微调模型，提高其满足任务规范的能力。在真实的和模拟的机器人任务中的实验验证表明，我们的不确定性分离框架将变异性最多减少了40%，并将任务成功率提高了5%，与基线相比。这些改进归因于两种干预措施的综合作用，并突出了不确定性分离的重要性，这促进了有针对性的干预措施，从而增强了自主系统的鲁棒性和可靠性。微调后的模型、代码和数据集可在 https://uncertainty-in-planning.github.io/ 获取。