LLM2D
GARF: 学习通用的3D重构以应对现实世界的断裂
GARF: Learning Generalizable 3D Reassembly for Real-World Fractures
作者: Sihang Li, Zeyu Jiang, Grace Chen, Chenyang Xu, Siqi Tan, Xue Wang, Irving Fang, Kristof Zyskowski, Shannon P. McPherron, Radu Iovita, Chen Feng, Jing Zhang
发布日期: 4/9/2025
arXiv ID: oai:arXiv.org:2504.05400v1

摘要

arXiv:2504.05400v1 宣告类型:交叉 摘要:三维重组是一项具有广泛科学应用领域的挑战性的空间智能任务。尽管大规模合成数据集促进了基于学习的方法的发展,但它们在不同领域的泛化能力有限。关键问题是,已训练于合成数据集上的模型是否能在现实世界的断裂中泛化,因为其中的断裂模式更为复杂。为了弥合这一差距,我们提出了一种用于现实世界断裂的可泛化三维重组框架GARF。GARF利用断裂感知预训练从个体碎片中学习断裂特征,通过流动匹配实现精确的6-DoF对齐。在推理阶段,我们引入了一步预装配,提高了对未见过的物体和不同数量断裂的鲁棒性。与考古学家、古人类学家和鸟类学家的合作中,我们编纂了Fractura,这是一个适用于视觉和学习社区的多样化数据集,涵盖了陶器、骨头、蛋壳和石器的现实世界断裂类型。全面的实验结果显示,我们的方法在合成数据集和现实世界数据集上均优于现有最佳方法,旋转误差降低了82.87%,部分准确性提高了25.15%。这表明,在合成数据上进行训练可以推动现实世界三维拼图解决的发展,展示了其在未见过物体形状和多样化断裂类型方面的强大泛化能力。