LLM2D
自适应图构建的多模态表示学习
Multimodal Representation Learning using Adaptive Graph Construction
作者: Weichen Huang
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.06395v1

摘要

多模态对比学习通过利用图像和文本等异构来源的数据来训练神经网络。然而,许多当前的多模态学习架构无法泛化到任意数量的模态,并且需要人工构建。我们提出了 AutoBIND,这是一种新颖的对比学习框架,可以通过图优化从任意数量的模态中学习表示。我们在阿尔茨海默病检测上评估了 AutoBIND,因为它具有现实世界的医疗应用,并且包含广泛的数据模态。我们证明 AutoBIND 在此任务上优于以前的方法,突出了该方法的泛化能力。