arXiv:2502.13994v2 宣告类型: replace-cross 摘要: 我们介绍了一种工具，使用现成的扩散模型和逆渲染来增强基于物理的材料的细节。我们的目标是通过加入磨损的迹象、老化、风化等细节来增强材料的视觉 fidelity，而这些细节往往需要繁琐的手动编写。由于这些外观细节通常根植于现实世界的过程，我们利用经过大量自然图像及其上下文图像训练的生成图像模型。从给定的几何形状、UV映射和基本外观开始，我们渲染对象的多个视图。然后，我们使用这些视图以及一个外观定义的文本提示，来条件化扩散模型。扩散模型生成的细节会被反向传播回逆可微渲染中的材料参数。为了使逆渲染成功，生成的外观在所有图像中必须具有一致性。我们提出了两种先验知识来解决扩散模型的多视图一致性问题。首先，通过从视图独立的UV空间中整合初始噪声，确保扩散过程的初始噪声在所有视图中具有一致性。其次，通过施加投影约束来偏置注意力机制，使像素强烈关注其他视图中对应的像素位置，从而确保几何一致性。我们的方法不需要对扩散模型进行任何训练或微调，也不依赖于使用的材料模型，并且增强的材料属性，例如2D PBR纹理，可以由艺术家进一步编辑。该项目可访问 https://generative-detail.github.io。