arXiv:2504.04351v1 文本类型：交叉学科 摘要：大规模语言模型（LLMs）在代码生成方面展示了出色的能力。然而，生成代码的质量高度依赖于所使用的提示结构和组成。编写高质量的提示是一个具有挑战性的任务，需要大量的提示工程知识和技能。为了推进基于LLM的代码生成中的提示工程技术自动化支持，我们提出了一种名为Diffusion-Driven Prompt Tuning（DDPT）的新型解决方案，该方案通过从高斯噪声生成最优提示嵌入来自动化提示工程。我们评估了基于扩散的优化可行性，并将最优提示嵌入抽象为一个指向最优嵌入的方向向量。我们使用LLMs给出的代码生成损失来帮助扩散模型在训练期间捕捉最优提示嵌入的分布。经过训练的扩散模型可以在采样阶段从噪声分布建模到最优分布的路径，评估结果表明，DDPT有助于提高代码生成的提示优化。