arXiv:2503.18595v1 类型: cross 摘要: 在早年对感觉进行训练对于人类发展至关重要。受这一认知现象的启发，我们观察到，在多模态学习过程中，早训练阶段也非常重要，此时数据集信息被迅速获取。我们将这一阶段称为关键学习窗口。然而，根据我们的观察，多模态学习中的关键学习窗口往往会由信息充足模态的信息所主导，从而抑制了信息不足模态的信息获取。为了解决这一问题，我们提出了一种名为信息获取调节（InfoReg）的方法，该方法旨在平衡各模态的信息获取。具体来说，InfoReg在关键学习窗口中减缓了信息充足模态的信息获取过程，这可能会促进信息不足模态的信息获取。这种调节有助于更平衡的学习过程，并提高多模态网络的总体性能。实验表明，InfoReg在各种数据集上优于相关多模态不平衡方法，实现了更好的模型性能。代码可在 https://github.com/GeWu-Lab/InfoReg_CVPR2025 获取。