arXiv:2409.14590v1 公告类型: 交叉 摘要: 机器学习（ML）在医疗等关键领域的应用带来了风险，并需要监管。一个要求是，在高风险应用中，ML系统的决策应为人所理解。"可解释的人工智能"（XAI）领域似乎满足了这一需求。然而，在当前形式下，XAI无法为ML提供质量控制；它本身需要审查。流行的XAI方法无法可靠地回答关于ML模型、其训练数据或给定测试输入的重要问题。我们重申了结果，表明流行的XAI方法系统地将重要性归因于与预测目标无关的输入特征。这限制了它们在模型和数据（不）验证、模型改进和科学发现等目的中的实用性。我们认为，这一限制的根本原因是当前的XAI方法没有解决定义明确的问题，也没有根据解释正确性的客观标准进行评估。研究人员应首先正式定义他们打算解决的问题，然后相应地设计方法。这将导致可以理论验证的解释正确性概念和可以使用真实数据评估的解释性能的客观指标。