LLM2D
通过结构不确定性建模和不准确的GT深度拟合实现真实世界的深度恢复
Real-World Depth Recovery via Structure Uncertainty Modeling and Inaccurate GT Depth Fitting
作者: Delong Suzhang, Meng Yang
发布日期: 4/17/2025
arXiv ID: oai:arXiv.org:2504.11820v1

摘要

arXiv:2504.11820v1 宣布类型: cross 摘要:现实世界RGB-D数据集中原始深度图中的低质量结构普遍存在,这使得近年来现实世界的深度恢复成为一个关键任务。然而,真实世界中缺乏配对的原始-真实深度图(raw-GT)数据给泛化深度恢复带来了挑战。现有方法在处理原始深度图中的结构错位多样性方面考虑不足,这导致了现实世界深度恢复中的泛化能力较差。值得注意的是,随机结构错位不仅限于原始深度数据,也影响真实世界数据集中的真实深度。在所提出的方法中,我们从输入和输出两个方面解决了泛化问题。对于输入,我们通过设计一个新的原始深度生成管道来丰富原始深度图中的结构错位多样性,这有助于网络避免过度拟合并特定条件。此外,我们设计了一个结构不确定性模块,明确识别输入原始深度图中的错位结构,以便在未见过的情况下更好地泛化。值得注意的是,训练良好的深度基础模型(DFM)可以帮助结构不确定性模块更好地估计结构不确定性。对于输出,我们设计了一个稳健的特征对齐模块,能够精确对齐与准确的RGB图像结构,从而避免不准确的真实深度数据的干扰。在多个数据集上的广泛实验表明,所提出的方法在各种具有挑战性的原始深度图上的准确性和泛化能力表现出竞争力。