arXiv:2504.21039v1 类型: cross 摘要：随着基于变压器的大规模语言模型（LLMs）越来越多地渗透到社会中，它们已经革新了软件工程、创意写作和数字艺术等领域。然而，它们在网络安全中的应用仍然受到限制，主要是因为缺乏专门的训练数据和表示网络安全领域特定知识的复杂性。为了解决这些缺口，我们提出了Foundation-Sec-8B，这是一种基于Llama 3.1架构并通过对精心筛选的网络安全语料库进行持续预训练而增强的网络安全专用的大规模语言模型。我们在多个现有的和新的网络安全基准上评估了Foundation-Sec-8B，显示它在某些网络安全特定任务上与Llama 3.1-70B和GPT-4o-mini相媲美。通过向公众发布我们的模型，我们旨在加速人工智能驱动工具在公共和私营网络安全领域的应用和进步。