arXiv:2505.08657v1 交叉公告类型 摘要：人类活动识别（HAR）对于有效的人机协作（HRC）至关重要，使机器人能够解读和响应人类动作。本研究评估了基于视觉的触觉传感器对15种活动进行分类的能力，并将其性能与基于IMU的数据手套进行了比较。此外，我们提出了一种结合触觉和运动数据的多模态框架，以利用它们互补的优势。我们考察了三种方法：基于运动的分类（MBC），使用IMU数据；基于触觉的分类（TBC），使用单视频流或多视频流；以及结合两种数据的多模态分类（MMC）。离线验证通过对分段数据集的评估，在受控条件下检查每种配置的准确性，而在线验证通过对连续动作序列的测试评估在线性能。结果表明，多模态方法在各种情况下都优于单一模态方法，突显了结合触觉和运动感知以增强协作机器人HAR系统的潜力。