arXiv:2502.13994v1 类别: cross 摘要: 我们提出了一种工具，使用商用扩散模型和逆渲染来增强基于物理的材料的细节。我们的目标是通过添加磨损、老化、风化等迹象来提高材料的视觉保真度，这些细节通常需要大量的手工制作。由于这些外观细节通常源于现实世界的过程，我们利用了一个大规模自然图像数据集的生成图像模型，该数据集包含了与上下文相关的视觉效果。从给定的几何形状、UV映射和基本外观开始，我们对对象进行了多次渲染。我们使用这些视图以及一个定义外观的文字提示来条件化扩散模型。然后，通过逆可微渲染，生成的细节从增强的图像反向传播到材料参数。为了使逆渲染成功，生成的外观必须在所有图像中保持一致。我们提出了两种先验来解决扩散模型的多视图一致性问题。首先，我们确保引导扩散过程的初始噪声本身在所有视图中是一致的，通过从视图无关的UV空间整合它来实现。其次，通过投影约束偏置注意力机制，使像素强烈关注其他视图中相应像素的位置，从而确保几何一致性。我们的方法不需要对扩散模型进行任何训练或微调，不依赖于使用的材料模型，而且增强的材料属性，即2D PBR纹理，可以进一步由艺术家编辑。