摘要
arXiv:2407.05441v4 通知类型: 替换-交叉
摘要:近期的研究实证表明,语言模型(LMs)不仅包含简单的语义知识,还包含了丰富的世界知识,这引起了各个领域的广泛关注。然而,在推荐领域,仍旧不确定LMs是否隐式地编码了用户偏好信息。与普遍的认知不符,即由于语言建模和行为建模目标的巨大差距,LMs和传统推荐器学习两个不同的表示空间,这项工作重新审视了这种认知,并探索从语言表示空间直接抽取推荐空间的可能性。令人惊讶的是,我们的发现表明,当高级LM表示通过线性映射到项目表示时,推荐性能表现出色。这一结果表明,高级语言表示空间与有效的项目表示空间之间可能存在同构性,暗示协作信号可能被LMs隐式编码。受这些发现的启发,我们探索了纯粹基于语言表示设计高级协作过滤(CF)模型的可能性,而无需基于ID的嵌入。具体而言,我们结合了几个关键组件,以项目标题作为输入构建了一个简单有效的模型。实验结果表明,这种简单的模型可以超越领先的基于ID的CF模型,这为使用语言表示进行更好的推荐提供了新的视角。此外,我们系统地分析了这一简单模型,并发现了一些使用高级语言表示的关键特征:项目表示的良好初始化、零样本推荐能力以及对用户意图的意识。我们的发现突显了语言建模与行为建模之间的联系,可以启发自然语言处理和推荐系统社区。