arXiv:2504.10541v1 类型: cross 摘要：大型语言模型（LLM）的日益增长的出现正在推动个性化推荐系统的开发。现有的大多数基于LLM的方法未能充分探索推荐场景内在的多视图图形结构相关性。为了解决这一问题，我们提出了一种名为Hypergraph Enhanced LLM Learning for multimodal Recommendation（HeLLM）的新框架，旨在通过将图形层面的上下文信号与序列层面的行为模式融合，使LLM具备捕捉复杂高阶语义相关性的能力。在推荐系统的预训练阶段，我们设计了一个用户超图来揭示用户之间的共通兴趣偏好，并设计了一个物品超图来捕捉物品在多模态相似性内的相关性。引入了超图卷积和协同对比学习机制，以增强学习表示的区分性。在LLM微调阶段，我们将学习到的图结构嵌入直接注入到LLM的结构中，并整合了捕捉每个用户历史行为的序贯特征。这一过程使超图能够利用图结构信息作为全局上下文，增强LLM识别复杂关系模式和整合多模态信息的能力，同时建模局部时间动态。广泛的实验证明了我们提出的方法优于现有的基准方法，证实了在LLM中融合基于超图的上下文与序贯用户行为的优势，用于推荐。