LLM2D
机器人故障的多模态连贯解释生成
Multimodal Coherent Explanation Generation of Robot Failures
作者: Pradip Pramanick, Silvia Rossi
发布日期: 10/2/2024
arXiv ID: oai:arXiv.org:2410.00659v1

摘要

在社会空间中,机器人行动的可解释性对于其被接受至关重要。解释机器人为何无法完成给定任务对于非专业用户来说尤为重要,让他们了解机器人的能力和局限性。迄今为止,关于解释机器人故障的研究仅考虑生成文本解释,尽管一些研究表明多模态解释的益处。然而,简单地组合多种模态可能会导致不同模态之间信息语义不一致,这是一个尚未得到充分研究的问题。不一致的多模态解释可能难以理解,甚至可能与机器人和人类的观察结果以及他们如何对观察结果进行推理不一致。这种不一致可能会导致对机器人能力的错误结论。在本文中,我们介绍了一种通过检查来自不同模态的解释的逻辑一致性来生成连贯的多模态解释的方法,并在需要时进行细化。我们提出了一种用于一致性评估的分类方法,其中我们评估一个解释是否逻辑地遵循另一个解释。我们的实验表明,对预先训练用于识别文本蕴涵的神经网络进行微调,对于多模态解释的一致性评估效果良好。代码和数据:https://pradippramanick.github.io/coherent-explain/。