LLM2D
面向符号可解释人工智能——通过特征之间人类可理解的逻辑关系进行解释
Towards Symbolic XAI -- Explanation Through Human Understandable Logical Relationships Between Features
作者: Thomas Schnake, Farnoush Rezaei Jafari, Jonas Lederer, Ping Xiong, Shinichi Nakajima, Stefan Gugler, Gr\'egoire Montavon, Klaus-Robert M\"uller
发布日期: 10/2/2024
arXiv ID: oai:arXiv.org:2408.17198v2

摘要

可解释人工智能(XAI)在促进人工智能系统的透明度和信任方面发挥着至关重要的作用,传统的 XAI 方法通常提供一个抽象层次的解释,通常以热图的形式突出显示单个或多个输入特征。然而,我们不禁要问,模型的抽象推理或问题解决策略是否也具有相关性,因为这些策略更符合人类解决问题的方式。我们提出了一个名为符号 XAI 的框架,该框架将相关性归因于表达输入特征之间逻辑关系的符号查询,从而捕捉模型预测背后的抽象推理。该方法建立在一个简单但通用的模型预测多阶分解的基础上。这种分解可以使用高阶传播相关的解释方法(如 GNN-LRP)或 XAI 中常用的扰动相关的解释方法来指定。我们的框架在自然语言处理 (NLP)、视觉和量子化学 (QC) 领域得到了有效验证,在这些领域,抽象符号领域知识丰富且对用户具有重要意义。符号 XAI 框架提供了对模型决策过程的理解,这种理解既灵活,用户可以自定义,又可以通过逻辑公式以人类可读的方式进行表达。