arXiv:2503.09334v2 安全类型: replace-cross 摘要：将大型语言模型（LLMs）集成到网络安全应用中带来了显著的机会，如增强威胁分析和恶意软件检测，但也可能引入关键风险和安全问题，包括个人数据泄露和自动生成新的恶意软件。为应对这些挑战，我们开发了CyberLLMInstruct数据集，包含54,928组指令-响应对，涵盖了恶意软件分析、鱼叉式网络钓鱼模拟和零日漏洞等网络安全任务。该数据集通过多阶段过程构建而成。这包括从多个资源获取数据、过滤并结构化为指令-响应对，以及与现实世界场景对齐以增强其适用性。选择了七个开源LLM进行测试：Phi 3 Mini 3.8B、Mistral 7B、Qwen 2.5 7B、Llama 3 8B、Llama 3.1 8B、Gemma 2 9B和Llama 2 70B。在我们的主要示例中，我们使用OWASP top 10框架严格评估了微调模型的安全性，发现微调降低了所有测试的LLM和每种对抗攻击的安全韧性（例如，对Llama 3.1 8B的提示注入攻击下的安全得分为0.95降至0.15）。在我们的第二个示例中，我们证明了这些相同的微调模型在CyberMetric基准上能够达到高达92.50%的准确率。这些发现突显了性能与安全之间的权衡，并表明进行对抗测试的重要性以及进一步研究能够减轻安全风险但仍提高性能的方法的重要性。创建数据集的管道以及详尽的文档、示例和复现我们结果所需的所有资源，已在https://github.com/Adelsamir01/CyberLLMInstruct 公开可供访问。