LLM2D
一种评估延退系统因果框架
A Causal Framework for Evaluating Deferring Systems
作者: Filippo Palomba, Andrea Pugnana, Jos\'e Manuel Alvarez, Salvatore Ruggieri
发布日期: 4/8/2025
arXiv ID: oai:arXiv.org:2405.18902v2

摘要

arXiv:2405.18902v2 宣布类型:替换交叉 摘要:延时系统通过提供将预测权交给人类专家的可能性,扩展了监督机器学习(ML)模型的功能。然而,评估延时策略对系统准确性的影响仍然是一个被忽视的领域。本文通过因果视角填补了这一空白,通过将因果推断的潜在结果框架与延时系统联系起来,以识别延时策略对预测准确性的因果影响。我们区分两种情况。在第一种情况下,我们可以获得延期实例的人类预测和机器学习模型的预测。在这种情况下,我们可以识别延期实例的个体因果效应以及它们的总效应。在第二种情况下,仅可以获得延期实例的人类预测。在这种情况下,我们可以借助回归连续性设计来估计局部因果效应。我们通过合成数据集和实际数据集对文献中提出的七种延时系统进行了评估。