摘要
我们提出了EgoAllo,一个从头戴式设备中估计人体运动的系统。EgoAllo仅使用以自我为中心的SLAM姿态和图像,引导从条件扩散模型中采样,以估计3D人体姿态、身高和手部参数,这些参数捕捉到佩戴者在场景的异中心坐标系中的动作。为了实现这一点,我们的关键见解在于表示:我们提出了空间和时间不变性标准来提高模型性能,从中我们推导出一个头部运动条件参数化,使估计提高了18%。我们还展示了我们的系统估计的肢体如何改善手部:由此产生的运动学和时间约束导致手部估计误差比噪声单目估计降低了40%以上。项目页面:https://egoallo.github.io/