LLM2D
位置工程:通过位置信息操控提升大型语言模型
Position Engineering: Boosting Large Language Models through Positional Information Manipulation
作者: Zhiyuan He, Huiqiang Jiang, Zilong Wang, Yuqing Yang, Luna Qiu, Lili Qiu
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2404.11216v2

摘要

大型语言模型 (LLM) 的性能受提供提示的质量影响很大。为了应对这个问题,研究人员开发了大量提示工程策略,旨在修改提示文本以提高任务性能。本文介绍了一种名为位置工程的新技术,它提供了一种更有效的方式来指导大型语言模型。与提示工程需要花费大量精力修改提供给 LLM 的文本不同,位置工程仅涉及更改提示中的位置信息,而不会修改文本本身。我们在两种广泛使用的 LLM 场景中评估了位置工程:检索增强生成 (RAG) 和上下文学习 (ICL)。我们的研究结果表明,位置工程在这两种情况下都显著优于基线。因此,位置工程代表了一种利用大型语言模型能力的有前景的新策略。