摘要
arXiv:2505.07023v1 类型: 横向
摘要: 我们研究了在逐渐分布偏移下监控机器学习模型的问题,其中环境随着时间缓慢变化,常导致未被察觉但显著的精度下降。为了解决这一问题,我们提出了增量不确定性感知性能监控(IUPM),这是一种新颖的无标签方法,通过使用最优运输来建模逐渐的分布偏移以估计性能变化。此外,IUPM 定量估计了性能预测的不确定性,并引入了一种主动标签程序,在有限的标签预算下恢复可靠的估计。我们的实验表明,IUPM 在各种逐渐偏移场景中优于现有的性能估计基线,并且其对不确定性的感知比其他策略更有效地引导标签获取。