arXiv:2505.07895v1 Announce Type: cross 摘要：如今，许多在线平台可以被描述为多模态异构网络（MMHNs），例如豆瓣的电影网络和亚马逊的产品评论网络。准确地对这些网络中的节点进行分类对于分析相应的实体至关重要，这需要有效的节点表示学习。然而，现有的多模态融合方法往往采用早期融合策略，可能会丢失每个模态的独特特征，或者采用基于图神经网络（GNN）的信息传播中的晚期融合方式，忽略了跨模态的指导。在本文中，我们提出了一种新的MMHN中的节点分类模型，名为具有跨模态注意力的异构图神经网络（HGNN-IMA）。它通过在信息传播过程中捕捉多种模态之间的相互影响来学习节点表示，在异构图变换器框架内进行。具体而言，将嵌套跨模态注意力机制集成到端节点注意力中，以实现自适应的多模态融合，并考虑模态对齐以鼓励所有模态中相似性一致的节点之间的传播。此外，增加了注意力损失以减轻缺失模态的影响。大量实验验证了该模型在节点分类任务中的优越性，提供了一种处理多模态数据的新视角，特别是在伴随网络结构时。