arXiv:2502.14202v1 安全公告类型: 交叉 摘要：面向软件开发的交流式大语言模型（conversational LLMs）的广泛应用引发了关于大语言模型生成内容安全性的新担忧。我们的动机研究概述了ChatGPT在提供上下文相关信息方面的潜力，以促进安全编码实践。受此发现的启发，我们进行了一项研究，以评估Claude 3、GPT-4和Llama 3三种主流大语言模型的安全意识程度。我们向这些大语言模型提供了包含漏洞代码的Stack Overflow问题，以评估它们是否只是回答问题，还是同时警告用户有关不安全代码的信息，从而展示一定程度的安全意识。此外，我们评估大语言模型的响应是否提供了漏洞的原因、利用和潜在修复信息，以帮助提高用户的意识。我们的研究结果表明，这三种模型在准确检测和警告用户关于漏洞方面都存在困难，在我们的数据集中，检测率仅为12.6%至40%。我们还观察到，大语言模型比其他类型更频繁地识别出与敏感信息暴露和不当输入中和相关的某些类型的漏洞。此外，当大语言模型发出安全警告时，它们往往提供比Stack Overflow回答更多的关于漏洞的原因、利用和修复的信息。最后，我们对研究结果的影响进行了深入讨论，并呈现了一个基于命令行界面的提示工具，可用于生成更有安全保障的大语言模型响应。