摘要
高质量纹理贴图对于逼真的3D资产渲染至关重要,但很少有研究探索直接在纹理空间中学习,尤其是在大型数据集上。在这项工作中,我们放弃了依赖预训练的二维扩散模型来进行三维纹理测试时间优化的传统方法。相反,我们专注于在UV纹理空间本身进行学习这一基本问题。我们首次训练了一个大型扩散模型,能够以前馈方式直接生成高分辨率纹理贴图。为了促进在高分辨率UV空间中的高效学习,我们提出了一种可扩展的网络架构,该架构将UV贴图上的卷积与点云上的注意力层交织在一起。利用这种架构设计,我们训练了一个具有7亿参数的扩散模型,该模型可以根据文本提示和单视图图像生成UV纹理贴图。一旦训练完成,我们的模型自然支持各种扩展应用,包括文本引导的纹理修复、稀疏视图纹理补全和文本驱动的纹理合成。项目页面位于http://cvmi-lab.github.io/TEXGen/。