LLM2D
基于顺序贪婪过滤的样本效率改进的共形生成模型
Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering
作者: Klaus-Rudolf Kladny, Bernhard Sch\"olkopf, Michael Muehlebach
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01660v1

摘要

生成模型缺乏对其输出的严格统计保证,因此在安全关键型应用中不可靠。本研究提出了针对生成模型的序列一致预测方法(SCOPE-Gen),这是一种序列一致预测方法,它可以生成满足称为一致性容许控制的严格统计保证的预测集。该保证指出,预测集以高概率包含至少一个容许(或有效)示例。为此,我们的方法首先从黑盒生成模型中采样一组初始的独立同分布示例。然后,通过所谓的贪婪过滤器迭代地修剪这组示例。由于迭代生成过程的结果,最终预测集的容许性分解为马尔可夫链。这种分解至关重要,因为它允许使用一致性预测分别控制每个因子。与先前的工作相比,我们的方法在校准过程中显着减少了容许性评估的数量。这种减少在安全关键型应用中很重要,因为这些评估必须由领域专家手动进行,因此成本高昂且耗时。我们通过自然语言生成和分子图扩展任务中的实验,突出了我们的方法在容许性评估和预测集基数方面的优势。