LLM2D
超越LLM预训练数据的公共访问
Beyond Public Access in LLM Pre-Training Data
作者: Sruly Rosenblat, Tim O'Reilly, Ilan Strauss
发布日期: 5/2/2025
arXiv ID: oai:arXiv.org:2505.00020v1

摘要

arXiv:2505.00020v1 宣告类型: 交叉 摘要: 使用合法获取的34本受版权保护的O'Reilly Media书籍数据集,我们应用DE-COP成员推理攻击方法,调查OpenAI的大语言模型是否在未经许可的情况下被训练了受版权保护的内容。我们的AUROC得分表明,OpenAI更先进且功能更强的GPT-4o模型在识别受付费墙保护的O'Reilly书籍内容方面表现出强大的能力(AUROC = 82%),相比之下,OpenAI较早的模型GPT-3.5 Turbo则表现出相对较高的对公开可访问的O'Reilly书籍样本的识别能力。而作为更小模型的GPT-4o Mini,在测试中对公开或非公开的O'Reilly Media内容均不具备相关知识(AUROC ≈ 50%)。使用相同截止日期测试多个模型有助于我们考虑到可能随时间变化的语言变迁,这些变迁可能会偏斜我们的研究结果。这些结果强调了企业在预训练数据来源方面提高透明度的迫切需求,作为制定AI内容训练正式许可框架的一种手段。