arXiv:2504.04699v1 类型: cross 摘要：大规模语言模型（LLMs）在软件漏洞检测（SVD）方面展示了令人鼓舞的表现，但它们的推理能力仍然不可靠。现有的依赖于思维链（CoT）的方法在提供相关且可行的安全评估方面颇具挑战。此外，有效的SVD不仅需要生成连贯的推理，还需要区分正当且误导性的合理安全评估，而这一点在以往的工作中被忽略了。为此，我们提出了R2Vul，这是一种新颖的方法，通过从AI反馈中进行强化学习（RLAIF）将结构化推理精炼到小型LLM中。通过RLAIF，R2Vul使LLM能够生成结构化且安全意识强的推理，这种推理是可行和可靠的，同时使其能够明确学习区分正当的评估与误导性的评估。我们在五种不同语言上将R2Vul与SAST工具、CoT、指令微调以及基于分类的基本模型进行了评估。我们的结果显示，R2Vul通过结构化推理精炼使得一个1.5B参数的学生模型能够与更大的模型相媲美，并增强了对不同分布漏洞的泛化能力。除了模型改进之外，我们还贡献了一个大规模的、多语言的偏好数据集，其中包含结构化推理，以支持未来的SVD研究。