摘要
arXiv:2505.01067v1 Announce Type: 横跨领域
摘要:大型语言模型(LLMs)的近期进步促成了从代码生成、视频编辑到文本生成等各种AI应用的发展;然而,像Hugging Face这样的AI供链,它们托管了由公众贡献的预训练模型及其相关配置文件,面临着重大的安全挑战;特别是,原本用于通过指定参数和初始设置来设置模型的配置文件,可能会被利用来执行未经授权的代码,但现有研究相对于模型本身的安全性而言,对这些配置文件的安全性研究相对较少;在本项工作中,我们首次对Hugging Face上的恶意配置进行了全面的研究,识别出三种攻击场景(文件、网站和仓库操作),这些场景揭示了固有的风险;为了应对这些威胁,我们引入了CONFIGSCAN,这是一种基于LLM的工具,它在关联的运行时代码和关键库的背景下分析配置文件,能够以低误报率和高准确率检测可疑元素;我们的广泛评估发现了数千个可疑的仓库和配置文件,突显了增强AI模型托管平台安全验证的紧迫需求。