LLM2D
基于MediaPipe姿态估计与物体检测结合的动作识别的力计算深度学习方法:ForcePose
ForcePose: A Deep Learning Approach for Force Calculation Based on Action Recognition Using MediaPipe Pose Estimation Combined with Object Detection
作者: Nandakishor M, Vrinda Govind V, Anuradha Puthalath, Anzy L, Swathi P S, Aswathi R, Devaprabha A R, Varsha Raj, Midhuna Krishnan K, Akhila Anilkumar T V, Yamuna P V
发布日期: 3/31/2025
arXiv ID: oai:arXiv.org:2503.22363v1

摘要

arXiv:2503.22363v1 力量估计类型: 横跨领域 摘要: 在人体-物体交互中的力量估计对于人机工程学、物理治疗和运动科学等领域至关重要。传统的方法依赖于专门的设备如力板和传感器,这使得准确的评估变得昂贵,并且仅限于实验室环境。在本文中,我们介绍了ForcePose,这是一种新颖的深度学习框架,通过结合人体姿态估计与物体检测来估计施加的力量。我们的方法利用MediaPipe进行骨骼跟踪,利用SSD-MobileNet进行物体识别,以创建人体-物体交互的统一表示。我们开发了一个专门的神经网络,该网络处理空间和时间特征,以预测力的大小和方向,无需任何物理传感器。在包含850个标注视频及其对应的力量测量值的数据集上进行训练后,我们的模型在力的大小上的平均绝对误差为5.83 N,在力的方向上的误差为7.4度。与现有的计算机视觉方法相比,我们的方法在标准计算硬件上仍然能够实现实时性能时,性能提高了27.5%。力分析在传统测量工具不切实际或侵入性的各种现实场景中,ForcePose开拓了新的可能性。本文讨论了我们的方法论、数据集的创建过程、评估指标以及在康复、人机工程评估和运动表现分析方面的潜在应用。