LLM2D
ConsDreamer: 提升零样本文本到3D生成的多视图一致性
ConsDreamer: Advancing Multi-View Consistency for Zero-Shot Text-to-3D Generation
作者: Yuan Zhou, Shilong Jin, Litao Hua, Wanjun Lv, Haoran Duan, Jungong Han
发布日期: 4/4/2025
arXiv ID: oai:arXiv.org:2504.02316v1

摘要

arXiv:2504.02316v1 宣告类型: cross 摘要: 零样本文本到3D生成最近的技术进步已经彻底改变了3D内容的创建,使直接从文本描述合成成为可能。虽然最先进的方法通过预训练的文本到图像(T2I)模型利用3D Gaussian Splatting和得分蒸馏增强多视角渲染,但在T2I先验中固有的视角偏见导致了不一致的3D生成,特别是在多面Janus问题中具体表现出来,即物体在不同视角中表现出冲突的特征。为了应对这一根本性挑战,我们提出了一种名为ConsDreamer的新框架,该框架通过在得分蒸馏过程中精炼条件和无条件项来减轻视角偏见:(1) 视点解耦模块(VDM),通过解耦无关的视角组件并注入精确的相机参数来消除条件提示中的视角偏见;(2) 基于相似性的部分顺序损失,通过使余弦相似度与方位关系对齐来强制无条件项中保持几何一致性。大量实验表明,ConsDreamer在文本到3D生成中有效缓解了多面Janus问题,无论是在视觉质量上还是在一致性上都优于现有方法。