LLM2D
基于物理渲染材质提升三维物体生成
Boosting 3D Object Generation through PBR Materials
作者: Yitong Wang, Xudong Xu, Li Ma, Haoran Wang, Bo Dai
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.16080v1

摘要

近期,自动三维内容创作因其在电子游戏、电影行业和AR/VR等各种应用中的潜力而受到越来越多的关注。扩散模型和多模态模型的最新进展显著提高了仅根据单张RGB图像生成三维物体的质量和效率。然而,即使是最先进的方法生成的三维物体,与人工创建的资产相比仍然不够令人满意。仅考虑纹理而非材质使得这些方法在照片级真实感渲染、重新照明和灵活外观编辑方面面临挑战。它们还存在几何形状和高频纹理细节严重错位的问题。在这项工作中,我们提出了一种新方法,从基于物理的渲染(PBR)材质的角度来提高生成的三维物体的质量。通过分析PBR材质的组成部分,我们选择考虑反照率、粗糙度、金属度和凹凸贴图。对于反照率和凹凸贴图,我们利用在合成数据上微调的稳定扩散模型来提取这些值,并采用这些微调模型的新颖用法来获得生成物体的三维一致反照率UV和凹凸UV。对于粗糙度和金属度贴图,我们采用半自动流程来提供交互式调整的空间,我们认为这更实用。大量的实验表明,我们的模型通常有利于各种最先进的生成方法,显著提高了其生成的三维物体的质量和真实感,具有自然的重新照明效果和大大改进的几何形状。