摘要
在人类与物体或人类之间交互导致严重遮挡的情况下,重建3D人体形状是一个极具挑战性的问题。基于人体形状统计的 SMPL(-X) 等参数化模型可以表示整个人体形状,但仅限于穿着最少衣物的身体。基于隐式函数的方法从参数化模型中提取特征,以利用人体先验知识,并能够捕获服装和头发等几何细节。然而,在处理对齐不佳的参数化模型和仅根据单张 RGB 图像修复遮挡区域时,它们往往难以应对。在本文中,我们提出了一种新颖的管道,MHCDIFF,即多假设条件点云扩散,它由条件化于像素对齐的详细 3D 人体重建的概率分布的点云扩散组成,用于处理遮挡。与之前的基于隐式函数的方法相比,点云扩散模型能够捕获全局一致特征以生成遮挡区域,而去噪过程则修正了对齐不佳的 SMPL 网格。MHCDIFF 的核心是从多个假设的 SMPL(-X) 网格中提取局部特征,并将特征集合聚合起来以对扩散模型进行条件化。在 CAPE 和 MultiHuman 数据集上的实验表明,该方法在合成和真实遮挡情况下,优于基于 SMPL、隐式函数、点云扩散及其组合的各种最先进方法。