arXiv:2505.10375v1 安全问题类别: 交叉学科 摘要: 缓冲区溢出和SQL注入等软件漏洞是安全漏洞的主要来源。传统漏洞检测方法仍然至关重要，但这些方法受限于高误报率、可扩展性问题以及对人工努力的依赖。这些限制推动了对基于AI的自动漏洞检测和安全代码生成方法的兴趣。虽然大型语言模型（LLMs）为分类任务打开了新的途径，但它们的复杂性和不透明性给可解释性和部署带来了挑战。稀疏自编码器为解决这一问题提供了有希望的解决方案。我们探索了稀疏自编码器是否可以作为轻量级、可解释的替代品用于Java函数中的漏洞检测。我们评估了将稀疏自编码器应用于GPT-2 Small和Gemma 2B的表示时的效果，检查了它们在无需微调底层LLM的情况下突出显示错误行为的能力。我们发现，稀疏自编码器衍生的特征使漏洞检测的F1分数达到了最高89%，并且在所有情况下都优于微调的变换器编码器基线。我们的工作提供了第一个实验证据，表明可以使用稀疏自编码器从预训练的LLM的内部表示直接检测软件漏洞，而无需任何微调或特定于任务的监督。