LLM2D
深度分层集成网络在广告转换率预测中的实践研究
On the Practice of Deep Hierarchical Ensemble Network for Ad Conversion Rate Prediction
作者: Jinfeng Zhuang, Yinrui Li, Runze Su, Ke Xu, Zhixuan Shao, Kungang Li, Ling Leng, Han Sun, Meng Qi, Yixiong Meng, Yang Tang, Zhifang Liu, Qifei Shen, Aayush Mudgal
发布日期: 4/22/2025
arXiv ID: oai:arXiv.org:2504.08169v2

摘要

arXiv:2504.08169v2 通知类型: 替换-交叉 摘要:点击率(CTR)和转化率(CVR)的预测在广告推荐系统的成功中起着至关重要的作用。一个深层层次集成网络(DHEN)已经被提出,其通过整合多个特征交叉模块并取得了在CTR预测方面的巨大成功。然而,在广告出价转化设定中,DHEN 对CVR预测的表现仍不清楚,该设定中广告针对用户在第三方网站或应用程序上的离站行为进行出价,包括购买、添加购物车、注册等。DHEN 面临的一些建议:1)应该包括哪些特征交叉模块(例如MLP、DCN、Transformer 等)?2)DHEN 应该有多深和宽才能在效率和效果之间取得最佳平衡?3)每个特征交叉模块中的哪些超参数应该被选择?与模型结构相关,输入个性化特征也对模型性能有很大的影响。本文我们解决了这个问题,并从应用数据科学的角度提出了我们的贡献,包括: 首先,我们提出了一种基于 DHEN 的多任务学习框架,以单个骨干模型架构的形式预测所有CVR任务,并详细研究了如何在实践中使 DHEN 有效;其次,我们构建了离站转化事件序列和在站实时用户行为序列以用于CVR预测,进行了对此重要性的消融研究;最后但并非最不重要的是,我们提出了一种自监督辅助损失来预测输入序列中的未来行为,以帮助解决CVR预测中的标签稀疏问题。 我们的方法在先前的单一特征交叉模块(预训练用户个性化特征)相比取得了最先进的性能。