arXiv:2504.17696v3 宣布类型: replace-cross 摘要: 人类活动记录 (DARai，读作"Dahr-ree") 是一个多模态、分层注释的数据集，旨在理解在现实世界环境中的人类活动。DARai 包括 10 种不同环境中的 50 名参与者连续的脚本化和非脚本化记录，总数据量超过 200 小时，包括多个摄像头视角、深度和雷达传感器、可穿戴惯性测量单元 (IMU)、肌电图 (EMG)、足底压力传感器、生理监测传感器和眼球追踪器等 20 种传感器。 为了捕捉人类活动的复杂性，DARai 在三个层次上进行了注释：(i) 高级活动 (L1)，这些是独立的任务；(ii) 较低级的动作 (L2)，这些是不同活动之间的共享模式；(iii) 细粒度的执行步骤 (L3)，这些详细描述了动作的精确执行步骤。该数据集的注释和记录设计使得 22.7% 的 L2 动作在 L1 活动之间共享，14.2% 的 L3 执行步骤在 L2 动作之间共享。DARai 的重叠性和非脚本化特性使其能够包含数据集中的一些反事实活动。 使用各种机器学习模型的实验展示了 DARai 在揭示以人类为中心的应用中的重要挑战方面的价值。具体而言，我们在所有分层注释级别上进行了单一模态和多模态传感器融合实验，用于识别、时间定位和未来动作预测。为了突出单个传感器的局限性，我们还进行了由 DARai 多传感器和反事实活动设计设置启用的领域变异性实验。 代码、文档和数据集在专门的 DARai 网站上提供：https://alregib.ece.gatech.edu/software-and-datasets/darai-daily-activity-recordings-for-artificial-intelligence-and-machine-learning/