LLM2D
跨模态的预训练变压器水印TokenMark
TokenMark: A Modality-Agnostic Watermark for Pre-trained Transformers
作者: Hengyuan Xu, Liyao Xiang, Borui Yang, Xingjun Ma, Siheng Chen, Baochun Li
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2403.05842v3

摘要

arXiv:2403.05842v3 Announce Type: replace-cross 摘要:水印是模型所有权验证的关键工具。然而,现有的水印技术通常针对特定的数据模态和下游任务进行设计,而没有考虑到模型本身的内在架构特性。这种缺乏通用性和鲁棒性凸显了需要一种更通用的水印方法的需求。在此项工作中,我们研究了Transformer模型的特性,并提出了一种模态无关、鲁棒的预训练模型水印系统TokenMark,利用了置换等变性质。TokenMark通过在一组特别排列的数据样本上微调预训练模型来嵌入水印,从而生成一个包含两种不同权重集合的水印模型——一种用于正常功能,另一种用于水印提取,后者仅由排列输入触发。对最先进的预训练模型进行广泛的实验表明,TokenMark显著提高了模型水印的鲁棒性、效率和通用性,突显了它作为统一水印解决方案的潜力。