arXiv:2405.16869v4 宣告类型: 替换 摘要: 学习高质量的多模态实体表示是多模态知识图谱（MMKG）表示学习的重要目标，这可以增强多模态知识图谱中的推理任务，例如多模态知识图谱补全（MMKGC）。主要挑战是协作建模大量三元组中隐藏的结构信息和实体的多模态特征。现有的方法集中在设计优雅的基于实体的多模态融合策略，但它们忽略了在不同关系背景下隐藏在模态中的多视角特征的利用。为了解决这一问题，我们引入了一个名为Mixture of Modality Knowledge experts（MoMoK）的新框架，以更好地学习多模态实体表示，用于MMKGC。我们设计了关系导向的模态知识专家来获取关系感知的模态嵌入，并结合多模态的预测结果以实现联合决策。此外，我们通过最小化专家之间的互信息来分离专家。在四个公开的MMKG基准数据集上的实验结果显示，在复杂场景下MoMoK表现出色。