arXiv:2505.01680v1 类型: cross 摘要: 对中风康复过程中上肢评估所使用的行动研究手臂测验（ARAT）进行手工评分既耗时又不一致。我们提出了一种基于多模态视频分析的自动化ARAT评分系统，该系统结合使用了SlowFast、I3D和基于Transformer的模型，并利用OpenPose的关节点和物体位置信息。我们的方法采用多视角数据（同侧、对侧和顶部视角），通过早期和晚期融合相结合的方式，在不同视角和模型之间联合特征。层次贝叶斯模型（HBMs）推断运动质量的组成部分，增强其可解释性。临床人员仪表板显示任务分数、执行时间和质量评估结果。我们进行了一项研究，五名临床人员审核了由我们系统生成的500个视频评分，提供了关于其准确性和易用性的反馈。在中风康复数据集上评估，我们框架在晚期融合下的验证准确率为89.0%，HBMs与手工评估结果高度一致。这项工作通过提供一个可扩展且可解释的解决方案，并得到临床验证，推动了自动化康复的发展。