LLM2D
MeshAnything:基于自回归Transformer的艺术家创作网格生成
MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers
作者: Yiwen Chen, Tong He, Di Huang, Weicai Ye, Sijin Chen, Jiaxiang Tang, Xin Chen, Zhongang Cai, Lei Yang, Gang Yu, Guosheng Lin, Chi Zhang
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2406.10163v2

摘要

最近,通过重建和生成创建的3D资产已达到手工制作资产的质量,突显了其替代潜力。然而,由于这些资产始终需要转换为网格才能用于3D行业应用,而当前网格提取方法生成的网格远不如艺术家创建的网格(AM,即人工创建的网格),因此这种潜力很大程度上尚未实现。具体来说,目前的网格提取方法依赖于密集的面,而忽略了几何特征,导致效率低下、后期处理复杂以及表示质量较低。为了解决这些问题,我们引入了MeshAnything模型,该模型将网格提取视为一个生成问题,生成与指定形状一致的AM。通过将任何3D表示中的3D资产转换为AM,MeshAnything可以与各种3D资产制作方法集成,从而增强其在3D行业的应用。MeshAnything的架构包括一个矢量量化变分自编码器(VQ-VAE)和一个形状条件解码器专用Transformer。我们首先使用VQ-VAE学习网格词汇表,然后在这个词汇表上训练形状条件解码器专用Transformer,用于形状条件的自回归网格生成。我们广泛的实验表明,我们的方法生成的AM面数减少了数百倍,显著提高了存储、渲染和模拟效率,同时实现了与先前方法相当的精度。