LLM2D
一种统一的知识蒸馏和半监督学习框架,以提高工业广告交付系统的效果
A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems
作者: Hamid Eghbalzadeh, Yang Wang, Rui Li, Yuji Mo, Qin Ding, Jiaxiang Fu, Liang Dai, Shuo Gu, Nima Noorshams, Sem Park, Bo Long, Xue Feng
发布日期: 2/12/2025
arXiv ID: oai:arXiv.org:2502.06834v1

摘要

arXiv:2502.06834v1 声明类型: 交叉 摘要: 传统的工业广告排名系统依赖于带标签的印象数据,这导致了诸如过拟合、模型扩展时增量增益较慢以及由于训练数据和 Serving 数据之间的差异导致偏见等问题。为了克服这些问题,我们提出了一种用于广告排名的统一知识蒸馏和半监督学习框架 (UKDSL),该框架能够利用显著更大且更具多样性的数据集进行模型训练,从而减少过拟合和缓解训练数据与 Serving 数据之间的差异。我们对多阶段排名系统的固有失真和预测偏见进行了详细的正式分析和数值模拟,并展示了所提出框架缓解这些问题的实证证据。与以前的工作相比,UKDSL 可以使模型能够学习来自大量未标记数据集,因此,在计算效率方面提高了性能。最后,我们在多个排名模型中成功部署了 UKDSL,并为多十亿级别的用户提供服务,覆盖了各种表面、地质位置、客户群,并针对各种事件进行优化,据我们所知,这是首次在如此大规模和高效的操作中实现此类部署。