摘要
大型语言模型(LLMs)及其巨大的商业化潜力所取得的令人印象深刻的性能引发了人们对训练数据知识产权(IP)的严重担忧。特别是,LLMs 生成的合成文本可能会侵犯用于训练 LLMs 的数据的 IP。为此,必须能够通过识别为生成 LLM 的合成文本做出贡献的数据提供者来执行源归属。在本文中,我们表明可以通过水印来解决这个问题,即通过使 LLM 能够生成包含有关其源的信息的嵌入水印的合成文本。我们确定了此类水印框架的关键属性(例如,源归属准确性、针对对手的鲁棒性),并提出了一种由于我们的算法设计而满足这些关键属性的源归属框架。我们的框架使 LLM 能够学习从生成的文本到数据提供者的准确映射,从而为有效地进行源归属奠定了基础。大量的实证评估表明,我们的框架实现了有效的源归属。