LLM2D
FTSmartAudit:一种基于fine-tuned LLMs的知识蒸馏增强框架,用于自动化智能合约审计
FTSmartAudit: A Knowledge Distillation-Enhanced Framework for Automated Smart Contract Auditing Using Fine-Tuned LLMs
作者: Zhiyuan Wei, Jing Sun, Zijian Zhang, Xianhao Zhang, Meng Li, Mauro Conti
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2410.13918v2

摘要

arXiv:2410.13918v2 宣告类型: 替换-交叉 摘要:区块链技术的进步极大地加速了智能合约的研发和部署。然而,其固有的漏洞和容易出现 Bug 的特性导致了重大的经济损失,突显出确保智能合约安全的挑战。尽管传统的审计方法至关重要,但在应对智能合约不断增加的复杂性和数量方面,它们往往力不从心。近年来,大型语言模型(LLMs)的发展为改善软件审计提供了有希望的解决方案,可以通过自动识别安全漏洞来增强。尽管具有潜力,但在实际应用中这些模型受限于巨大的计算需求。本文探讨了使用较小的、微调模型在智能合约审计中实现类似或更优结果的可行性。我们介绍了 FTSmartAudit 框架,该框架旨在通过 LLM 的微调来开发成本效益高、专门针对智能合约审计的模型。我们的贡献包含:(1)一个单任务学习框架,简化了数据准备、训练、评估和持续学习的流程;(2)利用领域专业知识蒸馏的稳健数据集生成方法,利用如 GPT-4o 这样的高级模型生成高质量的数据集;(3)一种适应性学习策略,以保持模型的准确性和鲁棒性;(4)微调模型在检测特定漏洞和复杂逻辑错误方面的实际效果;以及(5)一种可以扩展到需要 LLM 解决方案的其他领域的框架。我们的实验结果表明,较小的模型在检测智能合约中的漏洞方面可以超越最先进的商业模型和工具。