摘要
科学技术日益需要有效的机制来确保黑盒机器学习算法的可靠、可控性能。这些性能保证理想情况下应该以输入为条件成立——也就是说,无论输入是什么,性能保证都应该至少近似地成立。然而,除了种族和性别等程式化的离散分组之外,正确的条件概念可能难以定义。例如,在图像分割等问题中,我们希望不确定性能够反映测试样本的内在难度,但这可能难以通过条件事件来捕捉。基于 Gibbs 等人[2023]的最新工作,我们提出了一种通过适应测试样本的难度来实现统计风险(损失函数的期望值)近似条件控制的方法。我们的框架超越了基于用户提供的条件事件的传统条件风险控制,转向了对用于条件的适当函数类的算法化、数据驱动的确定。我们将此框架应用于各种回归和分割任务,实现了对模型性能的更细粒度控制,并证明了通过持续监控和调整这些参数,我们可以实现比传统风险控制方法更高的精度。