摘要
大型语言模型 (LLM) 在黑盒环境下(即,无法访问输出标记概率等详细信息)如何提升推理能力,是机器学习领域的一个开放性挑战。现有的方法要么依赖于可访问性(这通常是不现实的),要么会显著增加训练和推理时间的成本。本文通过提出一种新方法 CoBB(用于改进黑盒 LLM 的问答推理的校正方法)来解决这些局限性或缺点。它使用一个经过训练的适配模型,对原始黑盒 LLM 的常常不完美的推理进行 seq2seq 映射,以获得正确或改进的推理。具体来说,该适配模型使用一个相对较小的开源 LLM 进行初始化,并在收集的子样本训练对上进行适配。为了选择正确和不正确推理的代表性对,我们将数据集构建公式化为一个最小化样本子集与整个集合之间统计差异的优化问题,并通过遗传算法对其进行求解。然后,我们通过对比正确和不正确推理的可能性,在样本对上训练适配模型。我们的实验结果表明,与性能最佳的基线方法相比,CoBB 显著提高了各种问答基准的推理准确性。