arXiv:2410.01660v2 宣告类型: replace-cross 摘要：生成模型在输出方面缺乏严格的统计保证，因此在关键安全应用中不可靠。在本文中，我们提出了生成模型的顺序校准预测方法（SCOPE-Gen），这是一种产生满足严格统计保证——校准校准可接受控制——的预测集的顺序校准预测方法。这一保证声明，以高概率而言，预测集中包含至少一个可接受（或有效）的示例。为了实现这一目标，我们的方法首先从一个黑盒生成模型中采样一组独立同分布的示例。然后，通过所谓的贪婪过滤器逐步精简这一组。由于迭代生成过程，最终预测集的可接受性分解为马尔可夫链。这种分解至关重要，因为它允许分别控制每个因素，使用校准预测来实现。与先前的工作相比，我们的方法在校准过程中显示出显著减少可接受性评估的数量。这在关键安全应用中非常重要，因为在这些应用中，这些评估必须由领域专家手动进行，因此成本高昂且耗时。我们通过在自然语言生成和分子图扩展任务中的实验突显了我们方法在可接受性评估和预测集基数方面的优势。