LLM2D
多假设条件下的点云扩散模型用于从遮挡图像重建三维人体
Multi-hypotheses Conditioned Point Cloud Diffusion for 3D Human Reconstruction from Occluded Images
作者: Donghwan Kim, Tae-Kyun Kim
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2409.18364v2

摘要

由于人体与物体或人与人之间的交互作用,在严重遮挡的情况下重建人体三维形状是一个极具挑战性的问题。参数化模型(如 SMPL(-X))基于人体形状的统计数据,可以表示完整的人体形状,但仅限于穿着最少的人体形状。基于隐式函数的方法从参数化模型中提取特征,以利用人体先验知识,并能捕捉到服装和头发等几何细节。然而,它们在处理对齐错误的参数化模型以及仅根据单张 RGB 图像修复遮挡区域时往往会遇到困难。 在本工作中,我们提出了一种新颖的管道 MHCDIFF,即多假设条件点云扩散,该管道由条件点云扩散组成,该扩散以像素对齐的详细三维人体重建的概率分布为条件,以解决遮挡问题。与以往基于隐式函数的方法相比,点云扩散模型可以捕捉到全局一致的特征,以生成遮挡区域,并且去噪过程可以纠正对齐错误的 SMPL 网格。MHCDIFF 的核心是提取来自多个假设的 SMPL(-X) 网格的局部特征,并将特征集聚合起来作为扩散模型的条件。 在 CAPE 和 MultiHuman 数据集上的实验表明,该方法在合成和真实遮挡情况下,优于基于 SMPL、隐式函数、点云扩散及其组合的各种 SOTA 方法。我们的代码已公开发布在 https://donghwankim0101.github.io/projects/mhcdiff/。