LLM2D
优化耦合用于大型语言模型水印
Optimized Couplings for Watermarking Large Language Models
作者: Dor Tsur, Carol Xuan Long, Claudio Mayrink Verdun, Hsiang Hsu, Haim Permuter, Flavio P. Calmon
发布日期: 5/15/2025
arXiv ID: oai:arXiv.org:2505.08878v1

摘要

arXiv:2505.08878v1 宣告类型:交叉 摘要:大型语言模型(LLMs)现在已经能够在许多情况下产生看起来与人类生成的内容无法区分的文本。这促进了在微小扰动LLM输出的情况下,能够在LLM生成的文本中嵌入“信号”的水印的发展。本文提供了在一次完成设置下对文本水印技术的分析。通过假设检验与侧信息的视角,我们提出了并分析了在检测水印能力与生成文本质量扰动之间的基本权衡。我们认为,水印设计的关键组件是在与水印检测器共享的侧信息和LLM词汇的随机划分之间建立耦合。我们的分析确定了在最小熵约束下满足最坏情况的LLM下一个词分布的最优耦合和随机化策略。我们提供了在所提议方案下结果检测率的闭式表达式,并在最大最小意义上量化了成本。最后,我们在合成数据和LLM水印方面提供了大量的数值结果,将所提议方案与理论最优方案及现有方案进行了比较。我们的代码可在 https://github.com/Carol-Long/CC_Watermark 获得。