LLM2D
360Brew:一种用于个性化排名和推荐的解码器-only基础模型
360Brew: A Decoder-only Foundation Model for Personalized Ranking and Recommendation
作者: Hamed Firooz, Maziar Sanjabi, Adrian Englhardt, Aman Gupta, Ben Levine, Dre Olgiati, Gungor Polatkan, Iuliia Melnychuk, Karthik Ramgopal, Kirill Talanine, Kutta Srinivasan, Luke Simon, Natesh Sivasubramoniapillai, Necip Fazil Ayan, Qingquan Song, Samira Sriram, Souvik Ghosh, Tao Song, Vignesh Kothapalli, Xiaoling Zhai, Ya Xu, Yu Wang, Yun Dai
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2501.16450v2

摘要

arXiv:2501.16450v2 通知类型: 替换-交叉 摘要:排名和推荐系统是众多在线体验的基础,从搜索结果到个性化内容的交付。这些系统已演进为具有复杂多层架构的系统,利用庞大的数据集,并且通常包含数千个预测模型。维护和增强这些模型是一个耗时的过程,需要广泛的功能工程。这种方法不仅加剧了技术债务,还阻碍了将这些系统扩展到新兴问题领域的创新。在本报告中,我们通过使用具有文本接口的大型基础模型来解决这些挑战,以应对排名和推荐任务。我们展示了这种方法的一些关键优势:(1) 单个模型可以管理涉及排名和推荐的各种预测任务,(2) 具有文本接口的解码器模型由于其理解推理能力,可以迁移到新的推荐表单和领域外问题,并获得更好的表现,(3) 通过使用自然语言接口定义任务、口头描述成员行为及其社会关系,我们消除了功能工程和复杂有向无环图模型依赖性的维护需求。我们介绍了我们的研究预生产模型,360Brew V1.0,这是一个1500亿参数的仅解码器模型,已在领英的数据和任务上进行了训练和微调。该模型能够解决领英平台各个细分领域的超过30个预测任务,在离线指标上达到了或超过了当前生产系统的性能水平,而无需针对特定任务进行微调。值得注意的是,这些任务通常是通过多个团队经过多年开发和维护的专用模型来处理的。