arXiv:2502.10816v2 公告类型: 交叉 摘要：多模态学习因其能够整合不同模态的信息而引起了关注。然而，它经常受到多模态不平衡问题的阻碍，即某些模态占据主导地位，而其他模态则被大量闲置。虽然最近的一些研究提出了各种方法来缓解这一问题，但它们在全面和公平的比较方面仍然存在不足。在本文中，我们根据它们缓解不平衡所采用的策略系统地将各种主流多模态不平衡算法分为四组。为了便于对这些方法进行全面评估，我们引入了BalanceBenchmark基准，包括多个广泛使用的多维度数据集和从三个视角出发的评估指标：性能、不平衡程度和复杂性。为了确保公平比较，我们开发了一种模块化且可扩展的工具包，标准化了不同方法的实验流程。基于使用BalanceBenchmark进行的实验，我们确定了几种关于不同方法组在性能、不平衡程度和计算复杂性方面特性和优势的关键见解。我们希望此类分析能够在未来激发更有效的解决不平衡问题的方法，以及基础模型。工具包的代码可在 https://github.com/GeWu-Lab/BalanceBenchmark 获取。