LLM2D
面向检索的知识用于点击率预测
Retrieval-Oriented Knowledge for Click-Through Rate Prediction
作者: Huanshuo Liu, Bo Chen, Menghui Zhu, Jianghao Lin, Jiarui Qin, Yang Yang, Hao Zhang, Ruiming Tang
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2404.18304v2

摘要

点击率(CTR)预测对于个性化在线服务至关重要。基于样本检索的模型,例如 RIM,已经展现出卓越的性能。然而,由于检索过程,它们面临着推理效率低下和资源消耗过高的挑战,阻碍了它们在工业环境中的实际应用。为了解决这个问题,我们提出了一种通用的即插即用 \underline{r}etrieval-\underline{o}riented \underline{k}nowledge (\textbf{\name}) 框架,它绕过了实际的检索过程。该框架具有一个知识库,它使用分解-重建范式保存并模仿检索和聚合的表示。知识蒸馏和对比学习优化了知识库,使检索增强表示能够与各种 CTR 模型集成。在三个大型数据集上的实验表明 \name 具有优异的兼容性和性能,其中神经知识库充当检索池的有效替代品。\name 超越了教师模型,同时保持了优越的推理效率,并证明了使用参数化方法从非参数化方法中提取知识的可行性。这些结果突出了 \name 在现实世界应用中的巨大潜力及其将基于检索的方法转变为实用解决方案的能力。我们的实现代码可在 \url{https://github.com/HSLiu-Initial/ROK.git} 中获取,以支持可重复性。