LLM2D
车内多模态多目标监控系统:用于监测驾驶员和乘客异常状态
IC3M: In-Car Multimodal Multi-object Monitoring for Abnormal Status of Both Driver and Passengers
作者: Zihan Fang, Zheng Lin, Senkang Hu, Hangcheng Cao, Yiqin Deng, Xianhao Chen, Yuguang Fang
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.02592v1

摘要

近年来,车内监控已成为检测驾驶员早期异常状态并及时预警以防止交通事故的有前景的技术。尽管使用多模态数据训练模型提高了异常状态检测的可靠性,但标记数据的稀缺性和类别分布的不平衡阻碍了关键异常状态特征的提取,显著降低了训练性能。此外,由于环境和硬件限制导致的模态缺失进一步加剧了异常状态识别的挑战。更重要的是,监控乘客,尤其是老年人护理中的乘客的异常健康状况至关重要,但仍未得到充分探索。为了应对这些挑战,我们介绍了我们的 IC3M,这是一个基于相机旋转的多模态框架,用于监控汽车中的驾驶员和乘客。我们的 IC3M 包含两个关键模块:自适应阈值伪标记策略和缺失模态重建。前者根据类别分布为不同类别定制伪标记阈值,生成类别平衡的伪标签以有效地指导模型训练,而后者利用从有限标签中学到的跨模态关系,通过从可用模态进行分布转移来准确地恢复缺失模态。大量的实验结果表明,IC3M 在准确率、精确度和召回率方面优于最先进的基准,同时在有限的标记数据和严重的模态缺失情况下表现出优异的鲁棒性。