LLM2D
Home
Arxiv
返回列表
将基础模型训练为数据压缩:关于信息、模型权重和版权法
Training Foundation Models as Data Compression: On Information, Model Weights and Copyright Law
作者:
Giorgio Franceschelli, Claudia Cevenini, Mirco Musolesi
发布日期:
10/8/2024
arXiv ID:
oai:arXiv.org:2407.13493v3
摘要
大型基础模型和其他深度学习系统的训练过程都基于最小化训练集上的重构误差。因此,它们容易记忆并随后复制训练样本。本文从压缩训练的角度出发,认为模型的权重体现了训练数据的压缩表示。从版权角度来看,这种观点意味着权重可以被视为对可能受保护的一组作品的复制或衍生作品。我们研究了这种基础模型生成输出的版权框架所带来的技术和法律挑战,包括它们对从业人员和研究人员的影响。我们证明,采用以信息为中心的解决问题的方法为解决这些新出现的复杂法律问题提供了一条有希望的途径。
查看原文
下载 PDF