摘要
**摘要:** 上下文学习(ICL)使大型语言模型(LLM)能够通过在输入中直接包含少量上下文示例(ICE),而无需更新参数,从而泛化到新的任务。然而,ICL 的有效性在很大程度上取决于 ICE 的选择,而传统的基于文本的嵌入方法对于需要多步推理的任务(如数学和逻辑问题解决)往往不足。这是由于浅层语义相似性引入的偏差,这些偏差未能捕捉到这些任务所需的更深层的推理结构。我们提出了 GraphIC,一种利用推理过程的基于图的表示的新方法,并结合贝叶斯网络(BN)来选择 ICE。图结构固有地过滤掉浅层语义,同时保留核心推理结构。重要的是,BN 捕获了节点属性对其父节点的依赖性,这与人类认知的层次结构非常相似——其中每个想法都是由前一个想法塑造的。这使得 BN 特别适合多步推理任务,使该过程更接近于类人的推理。在三种类型的推理任务(数学推理、代码生成和逻辑推理)中进行的大量实验表明,GraphIC 在选择 ICE 方面优于无训练和基于训练的模型,在有效性和效率方面都表现出色。我们表明,GraphIC 增强了 ICL 的性能和互操作性,显着提高了多步推理任务的 ICE 选择。