LLM2D
FIX基准:提取可解释于专家的特征
The FIX Benchmark: Extracting Features Interpretable to eXperts
作者: Helen Jin, Shreya Havaldar, Chaehyeon Kim, Anton Xue, Weiqiu You, Helen Qu, Marco Gatti, Daniel A Hashimoto, Bhuvnesh Jain, Amin Madani, Masao Sako, Lyle Ungar, Eric Wong
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2409.13684v2

摘要

基于特征的方法常用于解释模型预测,但这些方法往往隐含地假设可解释特征易于获得。然而,对于高维数据,情况往往并非如此,即使对于领域专家来说,也很难从数学上确定哪些特征很重要。我们能否自动提取与专家知识一致的特征集合或组?为了解决这一差距,我们提出了FIX(面向专家的可解释特征)基准,用于衡量特征集合与专家知识的一致程度。我们与领域专家合作,提出了FIXScore,这是一种统一的专家对齐度量,适用于宇宙学、心理学和医学等不同现实世界场景中的视觉、语言和时间序列数据模式。利用FIXScore,我们发现流行的基于特征的解释方法与专家指定的知识一致性较差,这突出了需要开发能够更好地识别对专家具有可解释性的特征的新方法。