arXiv:2408.08990v2 通告类型: replace-cross 摘要：本文关注于现代应用（包括生成AI），其中黑盒模型是基于用户无法访问的数据进行训练的。类比于分劈一致推断，我们设计了一个围绕黑盒算法的包装器，用于校准一致性分数。这种校准是局部的，并分为两个阶段进行：首先自适应地将预测空间划分为组，然后按组逐段校准。自适应划分（自我分组）是通过将鲁棒回归树拟合到校准集的一致性分数上来实现的。这种新的树变种设计如下：在几乎所有情况下，增加单个新观察值不会改变树木拟合。这种增加一个观察值的鲁棒性属性使得我们可以得出有限样本组条件下的覆盖保证，这是边际保证的一种改进。此外，与传统的分劈一致推断不同，自适应划分和组内校准产生了可以局部伸缩的自适应带。我们使用非参数回归在几个模拟和实际例子中展示了局部收紧的好处。最后，我们考虑了两个现代分类应用，以获取GPT-4o预测周围的不确定性量化。我们基于自我报告的症状对皮肤疾病诊断进行了校准化处理，以及基于立法者意识形态总结对其预测状态进行了校准化处理。我们展示了局部不确定性集显著收紧的同时保持相似的边际覆盖。