摘要
arXiv:2403.05842v3
Announce Type: replace-cross
摘要:水印是模型所有权验证的关键工具。然而,现有的水印技术通常针对特定的数据模态和下游任务进行设计,而没有考虑到模型本身的内在架构特性。这种缺乏通用性和鲁棒性凸显了需要一种更通用的水印方法的需求。在此项工作中,我们研究了Transformer模型的特性,并提出了一种模态无关、鲁棒的预训练模型水印系统TokenMark,利用了置换等变性质。TokenMark通过在一组特别排列的数据样本上微调预训练模型来嵌入水印,从而生成一个包含两种不同权重集合的水印模型——一种用于正常功能,另一种用于水印提取,后者仅由排列输入触发。对最先进的预训练模型进行广泛的实验表明,TokenMark显著提高了模型水印的鲁棒性、效率和通用性,突显了它作为统一水印解决方案的潜力。