arXiv:2410.12539v2 宣告类型: 替换 摘要: 我们解决了在多智能体马尔可夫决策过程中解释反事实结果的挑战。具体而言，我们旨在通过其对环境动力学和智能体行为的影响，解释代理行动在整个实现场景中的总反事实效果。为了实现这一目标，我们引入了一种新的因果解释公式，通过将每个代理和状态变量与反映其对效果贡献的分数联系起来，来分解反事实效果。首先，我们证明代理行动的总反事实效果可以分解为两个部分：一个衡量通过所有后续代理行动传播的效果，另一个与通过状态转换传播的效果有关。基于最近在因果贡献分析方面的进展，我们进一步将这些效果分解如下。对于前者，我们考虑代理特定效果——这是一个衡量代理行动通过一组代理传播的反事实效果的概念。基于这一概念，我们使用Shapley值将效果分配给个别代理。对于后者，我们考虑结构保持干预的概念，并基于状态变量的“内在”贡献将效果分配给状态变量。通过广泛的实验，我们在带有LLM辅助代理的Gridworld环境和脓毒症管理模拟器中展示了我们方法的可解释性。