arXiv:2502.14202v2 通告类型: replace-cross 摘要：软件开发中广泛采用对话式大语言模型（LLM）引起了关于LLM生成内容安全性的新安全问题。我们的动机研究探讨了ChatGPT在上下文特定信息提供方面的能力，这有助于鼓励安全编程实践。受此发现的启发，我们开展了一项研究，评估三种 prominent 的LLM（Claude 3, GPT-4, 和 Llama 3）的安全意识程度。我们通过向这些LLM提出包含漏洞代码的Stack Overflow问题，以评估它们是仅仅提供问题的答案，还是同时警告用户关于不安全代码。进而我们评估LLM的响应是否提供了关于漏洞的原因、利用方式以及潜在修复方法的信息，帮助提高用户的意识。我们的研究发现表明，所有三种模型在准确检测并警告用户关于漏洞方面表现不佳，我们的数据集中的检测率仅为12.6%到40%。我们还观察到，LLM们比其他类型的漏洞更频繁地识别出与敏感信息暴露和不当输入中和有关的漏洞类型。此外，当LLM发出安全警告时，它们通常提供比Stack Overflow回答更多的关于漏洞的原因、利用方式和修复方法的信息。最后，我们深入讨论了我们的发现的意义，并提出了一个基于命令行界面的提示工具，可以用于生成显著更安全的LLM响应。