LLM2D
基于实例的LoRA语言模型定制在序列推荐中的应用
Customizing Language Models with Instance-wise LoRA for Sequential Recommendation
作者: Xiaoyu Kong, Jiancan Wu, An Zhang, Leheng Sheng, Hui Lin, Xiang Wang, Xiangnan He
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2408.10159v2

摘要

基于序列的推荐系统通过分析用户的历史交互行为来预测用户接下来可能感兴趣的物品,从而实现个性化推荐。近年来,利用大型语言模型 (LLM) 在知识理解和推理方面的优势,一些方法将 LLM 应用于序列推荐,并通过语言生成范式进行推荐。这些方法将用户行为序列转换为 LLM 微调的提示,并利用低秩自适应 (LoRA) 模块来优化推荐结果。然而,在不同的用户行为中统一应用 LoRA 可能会忽略个体差异,导致性能下降,以及不同序列之间出现负迁移。为了解决这些挑战,我们提出了实例级 LoRA (iLoRA),将 LoRA 与专家混合 (MoE) 框架相结合。iLoRA 创建了一组多样化的专家,每个专家都捕捉用户偏好的特定方面,并引入了序列表示引导的闸门函数。该闸门函数处理历史交互序列,生成丰富的表示,指导闸门网络输出定制化的专家参与权重。这种定制化方法减轻了负迁移的影响,并能动态适应不同的行为模式。在三个基准数据集上的大量实验表明了 iLoRA 的有效性,突出了它在捕捉用户特定偏好和提高推荐准确性方面的优越性能。