LLM2D
深度层次集成网络在广告转换率预测中的实践研究
On the Practice of Deep Hierarchical Ensemble Network for Ad Conversion Rate Prediction
作者: Jinfeng Zhuang, Yinrui Li, Runze Su, Ke Xu, Zhixuan Shao, Kungang Li, Ling Leng, Han Sun, Meng Qi, Yixiong Meng, Yang Tang, Zhifang Liu, Qifei Shen, Aayush Mudgal
发布日期: 4/14/2025
arXiv ID: oai:arXiv.org:2504.08169v1

摘要

arXiv:2504.08169v1 声明类型: cross 摘要:点击率 (CTR) 和转换率 (CVR) 的预测在广告推荐系统的成功中起着至关重要的作用。一种名为深度分层集成网络 (DHEN) 的方法已被提出,用于集成多种特征交叉模块,并在 CTR 预测方面取得了巨大成功。然而,在广告竞投设置中,DHEN 在 CVR 预测方面的表现尚不明确,在这种设置中,广告会为用户在第三方网站或应用上的离站操作(包括购买、加入购物车、注册等)的概率进行竞价。DHEN 存在几个挑战:1)应该包括哪些特征交叉模块(如 MLP、DCN、Transformer 等)?2)DHEN 应该有多深多宽,以在效率和效果之间找到最佳权衡?3)每个特征交叉模块应该选择哪些超参数?除了模型架构,输入的个性化特征也显著影响模型性能,并具有很大的自由度。在这篇论文中,我们解决了这个问题,并从应用数据科学的角度提出了我们的贡献,包括: 首先,我们提出了一种基于 DHEN 的多任务学习框架,用于预测所有 CVR 任务,并详细研究了如何使 DHEN 在实践中有效工作;其次,我们构建了用于 CVR 预测的现场实时用户行为序列和离站转换事件序列,并进行了消除方面重要性的消融研究;最后但同样重要的是,我们提出了一个自监督辅助损失,用于预测输入序列中的未来行为,以帮助解决 CVR 预测中的标签稀疏问题。 我们的方法在与预训练用户个性化特征的单个特征交叉模块相比时,达到了最先进的性能。