arXiv:2502.07862v1 宣告类型: cross 摘要：多模态深度学习系统由于多种传感模态提供的鲁棒性，在动态场景中得到了部署。然而，它们在计算资源可用性（由于多租户、设备异构性等）变化和输入质量波动（从传感器数据的损坏、环境噪声等）方面表现不佳。当前的多模态系统采用静态资源分配，在计算资源随时间变化时无法轻松适应。此外，它们依赖于使用固定特征提取器处理传感器数据，无法很好地应对模态质量的变化。因此，高噪声等不提供信息的模态无谓地消耗了本应分配给其他更有质量模态的资源。我们提出了ADMN，一种分层自适应深度多模态网络，能够应对上述两个挑战——它通过调整所有模态中活跃层的总数来满足计算资源约束，并根据模态质量不断重新分配输入模态中的层。我们的评估展示了ADMN可以在不降低与当前最佳网络相当的准确性的情况下，减少高达75%的浮点运算。