摘要
arXiv:2410.23511v2 宣告类型: replace-cross
摘要:研究表明,推理(例如,链式思考)、规划(例如,自我提问)和检索增强生成策略在提高大型语言模型(LLMs)在各种任务(如问答)上的性能方面是有效的。然而,使用单一固定的策略来回答不同类型的问题在性能上是次优的,并且在生成输出令牌和执行检索方面是低效的。在我们的工作中,我们提出了一种新颖的技术 DyPlan,以在 LLMs 中引发一种动态策略选择过程,以提高问答中的性能并降低成本。DyPlan 包含一个初始决策步骤,根据输入问题选择最合适的策略,并据此引导 LLM 的响应生成。我们扩展了 DyPlan 以得到 DyPlan-verify,增加了内部验证和修正过程,以进一步丰富生成的答案。在三个著名的多跳问答(MHQA)数据集上的实验展示了 DyPlan 可以使模型性能提高 7-13%,同时相对最好基线模型降低成本 11-32%。