摘要
arXiv:2502.14940v1 公告类型:交叉研究
摘要:高细节语义3D建筑模型在机器人技术、地理信息系统和计算机视觉中经常被使用。创建此类模型的一个关键方面是使用2D冲突图来检测建筑外墙的开口位置。然而,由于激光扫描过程中遇到障碍物,这些地图往往不完整。为了解决这一挑战,我们引入了FacaDiffy,这是一种新颖的方法,通过使用个性化的大规模稳定扩散模型来补充缺失的外墙部分,从而完成冲突图。具体来说,我们首先提出了一种确定性光线分析方法,从现有的3D建筑模型和相应的激光扫描点云中推导出2D冲突图。此外,通过利用个性化稳定扩散模型的潜力,我们还促进了在这些2D冲突图中填充未见的外墙对象。为补充现实世界训练数据的稀缺性,我们还开发了一种可扩展的管道,使用随机城市模型生成器和标注的外墙图像生成合成冲突图。广泛的实验表明,FacaDiffy 在冲突图完成方面的性能优于各种填充基线,并且当使用完成的冲突图进行高清晰度3D语义建筑重建时,检测率提高了22%。相关的GitHub仓库中公开提供了代码:https://github.com/ThomasFroech/InpaintingofUnseenFacadeObjects