LLM2D
可解释AI需要对解释的正确性进行形式化定义
Explainable AI needs formal notions of explanation correctness
作者: Stefan Haufe, Rick Wilming, Benedict Clark, Rustam Zhumagambetov, Danny Panknin, Ahc\`ene Boubekki
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2409.14590v3

摘要

机器学习 (ML) 在医学等关键领域的应用带来了风险,需要进行监管。其中一项要求是,高风险应用中机器学习系统的决策应为人所理解。“可解释人工智能”(XAI) 领域似乎满足了这一需求。然而,以其目前的形式,XAI 不适合为机器学习提供质量控制;它本身需要审查。流行的 XAI 方法无法可靠地回答有关机器学习模型、其训练数据或给定测试输入的重要问题。我们回顾了结果,这些结果表明流行的 XAI 方法系统地将重要性归因于与预测目标无关的输入特征。这限制了它们在模型和数据(无效)验证、模型改进和科学发现等方面的效用。我们认为,这种限制的根本原因是,当前的 XAI 方法没有解决明确定义的问题,也没有根据解释正确性的客观标准进行评估。研究人员应该首先正式定义他们打算解决的问题,然后相应地设计方法。这将导致可以从理论上验证的解释正确性概念和可以使用真实数据评估的解释性能的客观指标。