LLM2D
步骤融合:局部与全局相互引导
Step fusion: Local and global mutual guidance
发布日期: 9/23/2024
arXiv ID: oai:arXiv.org:2306.16950v3

摘要

arXiv:2306.16950v3 公告类型: 替换-交叉 摘要: 特征对齐是融合多模态数据的主要手段。我们提出了一种特征对齐方法,该方法能够完全融合多模态信息,通过逐步转移和扩展来自不同模态的特征信息,使其在特征空间中具有一致的表示。所提出的方法能够稳健地捕捉不同模态特征之间的高级交互,从而显著提升多模态学习的性能。我们还展示了该方法在多个任务上优于其他流行的多模态方案。对ETT和MIT-BIH心律失常数据集的实验评估表明,所提出的方法达到了最先进的性能。