LLM2D
改进决策稀疏性
Improving Decision Sparsity
作者: Yiyang Sun, Tong Wang, Cynthia Rudin
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2410.20483v2

摘要

大型语言模型(LLM)已取代众多自然语言处理任务中的传统方法。然而,在命名实体识别(NER)中,现有的基于LLM的方法…… 稀疏性是机器学习可解释性的核心方面。通常,稀疏性是根据模型的全局大小来衡量的,例如它使用的变量数量。然而,这种稀疏性概念与决策制定并不特别相关;接受决策的人并不关心不影响决策的变量。在这项工作中,我们极大地扩展了名为稀疏解释值 (SEV) 的决策稀疏性概念,使其解释更有意义。SEV 考虑沿超立方体向参考点移动。通过允许该参考点的灵活性,并考虑沿超立方体的距离如何转化为特征空间中的距离,我们可以为各种类型的函数类推导出更稀疏、更有意义的解释。我们提出了基于聚类的 SEV 及其变体基于树的 SEV,介绍了一种提高解释可信度的方法,并提出了一种优化机器学习模型中决策稀疏性的算法。