LLM2D
在模型共享市场中激励包容性贡献
Incentivizing Inclusive Contributions in Model Sharing Markets
作者: Enpei Zhang, Jingyi Chai, Rui Ye, Yanfeng Wang, Siheng Chen
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2505.02462v1

摘要

arXiv:2505.02462v1 公告类型:新 摘要:尽管数据在训练当代AI模型中起着关键作用,但人们认识到有价值的公开数据将在几年内耗尽,使全世界的目光转向了大规模的去中心化私人数据。然而,原始数据的隐私敏感性以及缺乏激励机制阻碍了这些有价值的数据被充分利用。为了解决这些挑战,本文提出了一种包容性和激励性的个性化联邦学习(iPFL),它通过激励具有多样化目标的数据持有者协作训练个性化模型而不泄露原始数据。iPFL通过基于图的训练优化构建了一个模型共享市场,并结合了基于博弈论原理的激励机制。理论分析表明,iPFL遵循两个关键的激励性质:个体理性和平坦性。对包括大型语言模型指令跟随任务在内的11个AI任务的实证研究表明,iPFL在经济效用上始终表现最佳,并且在基准方法上实现了更高的或相当的模型性能。我们期望我们的iPFL能够成为一种有价值的技巧,以促进在未来使用去中心化私人数据培训AI模型的同时让所有人都满意。