arXiv:2504.10512v1 通知类型: 交叉 摘要: 语言表示学习已成为序列推荐的一种有前途的方法，这得益于其学习泛化表示的能力。然而，尽管存在这一优势，该方法仍然无法克服数据稀疏性和对常见用户偏好理解的局限性。为解决这些限制，我们提出了$\textbf{JEPA4Rec}$框架，该框架结合了$\textbf{J}$oint $\textbf{E}$mbedding $\textbf{P}$redictive $\textbf{A}$rchitecture以及针对项目文本描述的语言建模。JEPA4Rec 捕捉到了语义丰富且可移植的表示，从而提高推荐性能并减少对大规模预训练数据的依赖。具体而言，JEPA4Rec 通过将描述信息（如标题、类别和其他属性）扁平化后，将项目表示为文本句子。为了编码这些句子，我们采用了一个双向 Transformer 编码器，并对其嵌入层进行了修改，以更好地捕捉推荐数据集中项目的相关信息。我们对文本句子应用遮蔽，并使用它们来预测未遮蔽句子的表示，帮助模型学习泛化项目的嵌入。为了进一步提高推荐性能和语言理解能力，我们采用了结合自监督学习损失的两阶段训练策略。在六个真实世界数据集上的实验表明，JEPA4Rec 一致性地优于现有方法，尤其是在跨领域、跨平台和低资源场景中。