LLM2D
车内多模态多目标监测:用于驾驶员和乘客异常状态检测
IC3M: In-Car Multimodal Multi-object Monitoring for Abnormal Status of Both Driver and Passengers
作者: Zihan Fang, Zheng Lin, Senkang Hu, Hangcheng Cao, Yiqin Deng, Xianhao Chen, Yuguang Fang
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.02592v3

摘要

车内多模态监控技术近年来兴起,用于及早发现驾驶员异常状态并及时预警,预防交通事故。然而,尽管使用多模态数据训练模型可以提高异常状态检测的可靠性,但标注数据稀缺和类别分布不平衡等问题阻碍了关键异常状态特征的提取,显著降低了训练性能。此外,由于环境和硬件限制导致的模态缺失进一步加剧了异常状态识别的挑战。更重要的是,对乘客(特别是老年人)异常健康状况的监测至关重要,但仍未得到充分探索。为了应对这些挑战,我们引入了IC3M,这是一种基于相机旋转的高效多模态框架,用于监测车内驾驶员和乘客。IC3M包含两个关键模块:自适应阈值伪标签策略和缺失模态重建。前者根据类别分布定制不同类别的伪标签阈值,生成类别平衡的伪标签以有效地指导模型训练;后者利用从有限标签中学到的跨模态关系,通过从可用模态转移分布来准确恢复缺失模态。大量的实验结果表明,IC3M在准确率、精确率和召回率方面均优于最先进的基准方法,并在标注数据有限和模态缺失严重的情况下表现出优越的鲁棒性。