arXiv:2412.01269v5 宣告类型: 更新 摘要：查询与项目之间的相关性建模是商业搜索引擎中的一个关键组成部分，直接影响用户体验。考虑到大型语言模型（LLMs）在各种自然语言处理（NLP）任务中取得的显著成就，基于LLM的相关性建模逐渐被工业搜索引擎所采用。然而，基础的LLMs缺乏特定领域的知识，未能充分利用上下文学习的潜力。此外，结构化的项目文本仍然没有得到充分利用，相应的查询和背景知识的供应也存在不足。因此，我们提出了CPRM（持续预训练以进行相关性建模）框架，该框架旨在解决这些问题。我们的CPRM框架包括三个模块：1）同时利用查询和多领域项目进行共同预训练，以增强领域知识，2）应用上下文感知预训练，这是一种新方法，通过在一系列相关查询或项目序列上进行预训练来提升LLM，3）对项目进行阅读理解，以生成相关的领域知识和背景信息（例如生成摘要和相应的查询），进一步加强LLM。离线实验和在线A/B测试的结果表明，我们的模型在与强大基线模型的对比中表现出色。