arXiv:2505.06267v1 公告类型: cross 摘要：广域规模语言模型（LLMs）在代码生成中的广泛应用，以 GitHub Copilot（一个由代码 LLM 支撑的编码扩展，用于辅助代码补全任务）超过一百万用户为例，突显了这些工具在提高开发者生产力方面的变革潜力。然而，这种快速增长也突出了这些工具生成的代码在质量、安全性和可靠性方面的重要关切。随着代码 LLM 的发展，它们面临着显著的挑战，包括模型规模效益递减和高质量训练数据的稀缺性。为了解决这些问题，本文提出了对抗性知识蒸馏（AKD），这是一种新颖的方法，利用对抗生成的合成数据集将大型模型的能力提炼到更小、更高效的模型中。通过系统地压力测试和改进代码 LLM 的推理能力，AKD 提供了一个框架，用于增强模型的鲁棒性、可靠性和安全性，同时提高其参数效率。我们认为这项工作代表了确保在现有数据限制和模型执行的成本效益内实现可靠的自动化代码生成的关键步骤。