LLM2D
拼图相似度:一种用于三维场景重建中人工制品检测的感知引导无参考度量
Puzzle Similarity: A Perceptually-guided No-Reference Metric for Artifact Detection in 3D Scene Reconstructions
作者: Nicolai Hermann, Jorge Condor, Piotr Didyk
发布日期: 11/27/2024
arXiv ID: oai:arXiv.org:2411.17489v1

摘要

现代重建技术能够有效地从稀疏的二维视图建模复杂的3D场景。然而,由于缺乏真实图像以及无参考图像度量在预测详细伪影图方面的局限性,自动评估新视图的质量和识别伪影具有挑战性。这种质量度量的缺失阻碍了对生成视图质量的准确预测,并限制了后处理技术(例如修复)的应用,从而无法提高重建质量。在这项工作中,我们提出了一种新的无参考度量——拼图相似度,旨在定位新视图中的伪影。我们的方法利用输入视图的图像块统计数据来建立特定场景的分布,该分布随后用于识别新视图中重建不良的区域。我们在3D重建的背景下测试和评估我们的方法;为此,我们收集了一个关于人类对未见重建视图质量评估的新数据集。通过该数据集,我们证明了我们的方法不仅可以成功地定位新视图中的伪影,并且与人类评估相关,而且无需直接参考。令人惊讶的是,我们的度量标准优于无参考度量和流行的全参考图像度量。我们可以利用我们的新度量来增强诸如自动图像恢复、引导采集或从稀疏输入进行3D重建之类的应用。