arXiv:2411.01639v2 通知类型: 交叉替换 摘要：多模态基础模型提供了一种有希望的框架，用于通过处理感官输入来生成可执行的计划，从而实现机器人的感知和规划。然而，应对感知（感官解释）和决策（计划生成）中的不确定性仍然是确保任务可靠性的关键挑战。我们提出了一个全面的框架，以分离、量化和减轻这两种形式的不确定性。我们首先引入了一个不确定性分离框架，将由于视觉理解限制引起的感知不确定性与与生成计划的鲁棒性相关的决策不确定性隔离开来。 为了量化每种类型的不确定性，我们提出了针对感知和决策的独特性质定制的方法：我们使用概率齐性预测来校准感知不确定性，并引入形式方法驱动的预测（FMDP）来量化决策不确定性，利用形式验证技术提供理论保证。基于这种量化，我们实现了两个针对性的干预机制：一个主动传感过程，动态重新观察高不确定性场景，以提高视觉输入质量，以及一个自动细化程序，在高确定性数据上微调模型，提高其满足任务规范的能力。在现实世界和模拟机器人任务中的实证验证表明，与基准相比，我们的不确定性分离框架可以将变化性减少多达40%，并将任务成功率提高5%。这两种改进归因于两种干预措施的结合效果，并突显了不确定性分离的重要性，它可以促进有针对性的干预，从而增强自主系统的鲁棒性和可靠性。经过微调的模型、代码和数据集可在https://uncertainty-in-planning.github.io/ 获取。