摘要
相机-激光雷达融合模型显著提高了自动驾驶中的感知性能。融合机制利用了每种模态的优势,同时最大限度地减少了它们的弱点。此外,在实践中,相机-激光雷达融合模型利用预训练的主干网络进行高效训练。然而,我们认为,直接将单模态预训练的相机和激光雷达主干网络加载到相机-激光雷达融合模型中,由于融合机制的性质,会在模态之间引入类似的特征冗余。不幸的是,现有的剪枝方法是专门为单模态模型开发的,因此,它们难以有效地识别相机-激光雷达融合模型中的这些特定冗余参数。在本文中,为了解决上述关于相机-激光雷达融合模型的问题,我们提出了一种新颖的剪枝框架——**替代模态掩蔽剪枝**(AlterMOMA),该框架对每个模态采用替代掩蔽,并识别冗余参数。具体来说,当一种模态参数被掩蔽(停用)时,来自被掩蔽主干网络的特征缺失迫使模型重新激活另一种模态主干网络中先前冗余的特征。因此,这些冗余特征和相关的冗余参数可以通过重新激活过程来识别。冗余参数可以通过我们提出的重要性评分评估函数——**替代评估**(AlterEva)来剪枝,该函数基于当某些模态参数被激活和停用时损失变化的观察结果。在包含各种任务、基线模型和剪枝算法的nuScene和KITTI数据集上的大量实验表明,AlterMOMA优于现有的剪枝方法,并取得了最先进的性能。