arXiv:2505.07013v1 宣布类型: cross 摘要：基于摄像头的技术远程生理监测为非侵入性生命体征监测在医疗和人机交互领域提供了变革性的潜力。尽管深度学习方法在从视频数据中提取生理信号方面取得了进展，但现有的方法在应对域转移的鲁棒性方面尚未得到充分评估。远程生理监测中的这些域转移包括环境条件的变化、摄像头规格、头部运动、面部姿态和生理状态的变化，这些变化常常显著影响实际性能。跨数据集评估提供了一种客观的指标，用于评估这些域转移中的泛化能力。我们引入了目标信号约束分解模块（TSFM），这是一种新颖的多维度注意力机制，明确地将生理信号特征作为分解约束，从而实现更精确的特征提取。基于这一创新，我们介绍了MMRPhys，这是一种高效的设计双分支3D-CNN架构，同时从多模态RGB和热视频输入中估计生理脉搏体积描记图（rPPG）和呼吸（rRSP）信号。通过在五个基准数据集上的全面跨数据集评估，我们证明，带有TSFM的MMRPhys在rPPG和rRSP估计的域转移泛化方面显著优于最先进的方法，同时保持了适合实时应用的最小推理延迟。我们的方法为鲁棒多任务和多模态生理监测设定了新基准，并提供了在不受约束环境中进行实用部署的高效计算框架。基于网络浏览器的MMRPhys模型可在设备端进行实时推理的应用程序可在 https://physiologicailab.github.io/mmrphys-live 获取。