LLM2D
理解文本到SQL语义解析中算法透明度对模型解释的影响
Understanding the Effect of Algorithm Transparency of Model Explanations in Text-to-SQL Semantic Parsing
作者: Daking Rai, Rydia R. Weiland, Kayla Margaret Gabriella Herrera, Tyler H. Shaw, Ziyu Yao
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2410.16283v2

摘要

解释AI的决策对于培养用户对这些系统的信任至关重要。本文研究了名为“文本到SQL语义解析”的结构化预测任务的解释方法,该任务将自然语言问题转换为结构化查询语言(SQL)程序。在这个任务设置中,我们设计了三个级别的模型解释,每个级别都揭示了不同程度的模型决策细节(称为“算法透明度”),并研究了不同的模型解释如何对用户体验产生不同的影响。我们对约100名参与者的研究表明:(1)低/高透明度的解释通常会导致用户对模型决策的依赖程度降低/增加,而中等透明度的解释则取得了良好的平衡。(2)只有中等透明度参与者组能够进一步参与交互并在一段时间内表现出性能提升,并且(3)他们在研究前后信任度的变化最小。