LLM2D
代表利益相关方:大规模语言模型时代NLP模型可解释性的发展趋势
On Behalf of the Stakeholders: Trends in NLP Model Interpretability in the Era of LLMs
作者: Nitay Calderon, Roi Reichart
发布日期: 2/5/2025
arXiv ID: oai:arXiv.org:2407.19200v2

摘要

arXiv:2407.19200v2 宣告类型: 代替-交叉 摘要:自然语言处理(NLP)系统的最新进展,尤其是随着大规模语言模型(LLMs)的引入,这些系统已经被广泛用户在各个领域采用,影响了决策、就业市场、社会和科学研究。这种使用量的激增导致了NLP模型解释性和分析研究的爆炸性增长,伴随了大量的技术调研。然而,这些调研往往忽略了解释利益相关者的需要和视角。在本文中,我们解答了三个基本问题:为什么我们需要解释性,我们解释什么,以及如何解释?通过探索这些问题,我们检查了现有的解释性范式、它们的性质以及它们对不同利益相关者的相关性。我们进一步通过分析过去十年跨多个研究领域的趋势,探讨了这些范式的实际意义。为此,我们检索了数千篇论文,并使用LLM来描述它们。我们的分析揭示了NLP开发人员和非开发人员用户之间,以及不同研究领域之间的显著差异,突显了利益相关者的多样化需求。例如,内部模型组件的解释在NLP领域之外几乎很少被使用。我们希望本文能够为未来符合各种利益相关者目标和要求的方法的设计、开发和应用提供信息。