LLM2D
评估模型解释而无需 ground truth
Evaluating Model Explanations without Ground Truth
作者: Kaivalya Rawal, Zihao Fu, Eoin Delaney, Chris Russell
发布日期: 5/16/2025
arXiv ID: oai:arXiv.org:2505.10399v1

摘要

arXiv:2505.10399v1 宣告类型: 新 摘要: 对单一模型预测而言,可能存在多种竞争性和矛盾性的解释,这使人们难以选择出适合使用的解释。当前的解释评估框架通过与理想的“真实情况”解释进行比较来衡量质量,或者通过验证模型对重要输入的敏感性来衡量。我们概述了这些方法的局限性,并提出了三个有望为局部特征重要性解释评估策略奠定基础的原则。我们提出了一种新的无“真实情况”依据的解释评估框架 (AXE),用于评估和比较模型解释,并满足这些原则。与先前的方法不同,AXE 不需要访问理想的“真实情况”解释来进行比较,也不依赖于模型的敏感性,从而提供了一个独立的解释质量评估标准。我们通过与基础方法进行比较验证了 AXE,并展示了如何使用它来检测解释公平性问题。我们的代码可在 https://github.com/KaiRawal/Evaluating-Model-Explanations-without-Ground-Truth 获取。