LLM2D
SC-Bench: 一个大型数据集,用于智能合约审计
SC-Bench: A Large-Scale Dataset for Smart Contract Auditing
作者: Shihao Xia, Mengting He, Linhai Song, Yiying Zhang
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2410.06176v2

摘要

arXiv:2410.06176v2 安全检查类型: 交叉替换 摘要:确保列在区块链平台上智能合约的安全性和经济标准合规性的需求非常巨大。目前,通常使用手动审计的方式来实现这一目标。基于机器学习的自动化技术有望减轻人力负担和由此带来的成本。然而,与其他领域中的巨大成功相比,在智能合约审计方面还没有提出或应用系统的机器学习技术。我们提出了SC-Bench,这是第一个用于智能合约自动化审计研究的数据集。SC-Bench包含在以太坊上运行的5,377个真实世界智能合约,以及15,975个以太坊上称为ERC的标准违反情况。在这15,975个违规情况中,有139个是由程序员实际犯下的错误。其余的则是我们系统地注入的错误,以反映不同ERC规则的违反情况。我们使用GPT-4对SC-Bench进行了评估,通过提供智能合约和ERC规则来提示GPT-4。此外,我们手动识别了每个违反的规则及其对应的代码位置(即Oracle),然后用这些信息提示GPT-4回答真或假的问题。我们的结果显示,在没有Oracle的情况下,GPT-4只能检测到0.9%的违规情况,而在使用Oracle的情况下,它可以检测到22.9%的违规情况。这些结果表明,在智能合约审计方面的基于机器学习的技术有很大的改进空间。