arXiv:2408.09121v3 公告类型: replace-cross 摘要: 近年来，大规模语言模型（LLMs）通过从自然语言自动生成代码，彻底改变了软件开发。然而，在生成完全符合用户意图的代码方面仍然存在挑战。我们的研究表明，随着生成的代码token数量增加，LLMs往往会更少地关注用户的提示。我们推测，这种注意力稀释问题是代码生成错误的一个重要原因。为了缓解这一问题，我们提出了一种选择性提示锚定（Selective Prompt Anchoring，SPA）方法，以指导代码LLMs在生成代码时更多地关注用户意图。我们使用六种基础LLM在六项基准测试中评估了SPA。我们的结果显示，SPA在所有设置中都超过了最先进的代码生成方法，最高提高了12.9%的Pass@1。我们的代码可在 https://github.com/magic-YuanTian/Selective-Prompt-Anchoring 获取。