LLM2D
360Brew:一个仅解码器基础模型用于个性化排名和推荐
360Brew: A Decoder-only Foundation Model for Personalized Ranking and Recommendation
作者: Hamed Firooz, Maziar Sanjabi, Adrian Englhardt, Aman Gupta, Ben Levine, Dre Olgiati, Gungor Polatkan, Iuliia Melnychuk, Karthik Ramgopal, Kirill Talanine, Kutta Srinivasan, Luke Simon, Natesh Sivasubramoniapillai, Necip Fazil Ayan, Qingquan Song, Samira Sriram, Souvik Ghosh, Tao Song, Tejas Dharamsi, Vignesh Kothapalli, Xiaoling Zhai, Ya Xu, Yu Wang, Yun Dai
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2501.16450v3

摘要

arXiv:2501.16450v3 宣告类型: replace-cross 摘要:排名和推荐系统是众多在线体验的基础,从搜索结果到个性化内容交付不一而足。这些系统已经演变成复杂的多层架构,利用大量的数据集,并经常融合数千个预测模型。维护和增强这些模型是一个耗时的过程,需要广泛的功能工程。这种方法不仅加剧了技术债务,还阻碍了将这些系统扩展到新兴问题领域的创新。在这份报告中,我们介绍了一种研究方法,通过利用一个带有文本界面的大规模基础模型来解决排名和推荐任务中的这些挑战。我们说明了我们方法几个关键优势:(1) 单个模型可以管理排名和推荐任务中的多种预测任务,(2) 具有文本界面的解码器模型由于其理解推理能力,可以泛化到新型推荐界面和跨域问题,并且表现优于这些领域的问题,(3) 通过使用自然语言界面来定义任务并口头描述成员行为及其社会联系,我们消除了功能工程的需要以及维护复杂有向无环图中模型依赖关系的需要。我们介绍了我们的预生产研究模型 360Brew V1.0,这是一个包含1500亿参数的仅解码器模型,已经在领英的数据和任务上进行了训练和微调。该模型能够在领英平台上各个板块解决超过30项预测任务,其性能水平与基于离线指标的当前生产系统的水平相当或更优,且无需针对特定任务进行微调。值得注意的是,通常每个任务都由需要类似或更大的团队数年开发和维护的专用模型来处理。