摘要
arXiv:2502.17494v5 宣告类型: replace-cross
摘要：广告推荐是在线广告系统中的一个突出服务，并且已经得到了积极的研究。最近的研究表明，扩大推荐模型的规模和改进设计可以带来显著的性能提升。然而，随着模型规模的增大，这些之前的研究所面临的问题与工业应用之间的差距也急剧增加，这主要是因为它们往往忽视了工业规模应用中的两个基本挑战。首先，模型的训练和推理预算受到限制，以避免延迟并影响用户体验。其次，以流式方式到来的大数据集具有动态变化的数据分布，因为新用户/广告加入系统，而现有用户/广告离开系统。我们提出了外部大型基础模型（ExFM）框架来解决这些被忽视的挑战。具体而言，我们开发了外部蒸馏和数据增强系统（DAS），以在保持高性能的同时控制训练/推理的计算成本。我们设计教师模型类似于基础模型（FM），它可以作为多个学生模型（VMs）的垂直模型，来分摊其构建成本。我们提出了辅助头部和学生适配器，以缓解由于流式数据问题导致的FM和VM之间的数据分布差距。在内部工业规模应用和公共数据集上的全面实验表明，ExFM可以获得显著的性能提升。