摘要
最近,通过重建和生成创建的3D资产已达到手工制作资产的质量,突显了其替代潜力。然而,由于这些资产始终需要转换为网格才能用于3D行业应用,而当前网格提取方法生成的网格远不如艺术家创建的网格(AM,即人工创建的网格),因此这种潜力很大程度上尚未实现。具体来说,目前的网格提取方法依赖于密集的面,而忽略了几何特征,导致效率低下、后期处理复杂以及表示质量较低。为了解决这些问题,我们引入了MeshAnything模型,该模型将网格提取视为一个生成问题,生成与指定形状一致的AM。通过将任何3D表示中的3D资产转换为AM,MeshAnything可以与各种3D资产制作方法集成,从而增强其在3D行业的应用。MeshAnything的架构包括一个矢量量化变分自编码器(VQ-VAE)和一个形状条件解码器专用Transformer。我们首先使用VQ-VAE学习网格词汇表,然后在这个词汇表上训练形状条件解码器专用Transformer,用于形状条件的自回归网格生成。我们广泛的实验表明,我们的方法生成的AM面数减少了数百倍,显著提高了存储、渲染和模拟效率,同时实现了与先前方法相当的精度。