arXiv:2504.05321v1 宣布类型: cross 摘要: 在赞助搜索广告领域，将广告与用户查询的搜索意图相匹配至关重要。查询到出价关键词（即竞价关键词）的重写是一种至关重要的技术，已经引起了广泛关注。近年来，随着大语言模型（LLMs）的普及，生成性检索方法已被证明在生成高相关性重写方面非常有效。然而，我们发现了现有方法中的一个显著局限性：虽然针对特定领域的微调增强了语义相关性，但这些模型对生成内容的内在价值，如商业价值，缺乏感知。因此，在微调之后，通常会采用基于强化学习的人类反馈微调（RLHF）阶段来解决这一问题。然而，传统的偏好对齐方法在对齐细微的价值方面通常面临挑战，并且容易过拟合，这降低了生成结果的有效性和质量。为了解决这些挑战，我们提出了VALUE（值感知大型语言模型用于加权 trie 的查询重写），这是第一个确保生成高价值和高度相关的出价关键词的框架。我们的方法利用了加权 trie，这是一种对传统trie数据结构进行创新修改。通过在解码过程中利用 trie 中的价值信息调整 LLM 的输出概率分布，我们限制生成空间并引导文本生成的轨迹。离线试验显示了我们的方法在语义匹配和偏好对齐方面的有效性，展示了价值属性超过五倍的显著改善。在线 A/B 测试进一步表明，我们的每千次展现收入（RPM）指标提高了 1.64%。VALUE 于 2024 年 10 月部署在我们的广告系统上，并服务于中国的双十一促销活动，这是最大的购物狂欢节。