LLM2D
集成解码:通过隐式自一致性提高事实性
Integrative Decoding: Improve Factuality via Implicit Self-consistency
作者: Yi Cheng, Xiao Liang, Yeyun Gong, Wen Xiao, Song Wang, Yuji Zhang, Wenjun Hou, Kaishuai Xu, Wenge Liu, Wenjie Li, Jian Jiao, Qi Chen, Peng Cheng, Wayne Xiong
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01556v2

摘要

基于自一致性的方法通过反复采样多个输出并选择最一致的输出作为最终响应,在提高大型语言模型的事实准确性方面表现出显著的有效性。然而,现有的方法通常对任务格式有严格的限制,很大程度上限制了它们的适用性。本文提出了一种集成解码 (ID) 方法,以释放自一致性在开放式生成任务中的潜力。ID 通过构建一组输入来运作,每个输入都以先前采样的响应为前缀,然后并行处理它们,在每个解码步骤中,通过聚合所有对应预测来选择下一个标记。本质上,这种简单的方法将自一致性隐式地纳入解码目标中。广泛的评估表明,ID 始终如一地提高了各种语言模型的事实性,在 TruthfulQA (+11.2%)、Biographies (+15.4%) 和 LongFact (+8.5%) 基准测试中取得了显著的改进。随着采样响应数量的增加,性能提升逐渐放大,表明 ID 随着重复采样而扩展的潜力。