LLM2D
Tell2Reg: 通过相同的语言提示建立图像之间的空间对应关系
Tell2Reg: Establishing spatial correspondence between images by the same language prompts
作者: Wen Yan, Qianye Yang, Shiqi Huang, Yipei Wang, Shonit Punwani, Mark Emberton, Vasilis Stavrinides, Yipeng Hu, Dean Barratt
发布日期: 2/6/2025
arXiv ID: oai:arXiv.org:2502.03118v1

摘要

arXiv:2502.03118v1 宣告类型:交叉 摘要:空间对应可以通过分割区域对来表示,使得图像配准网络的目标是分割对应的区域,而不是预测位移场或变换参数。在这项工作中,我们展示了可以通过在两张不同图像上使用基于GroundingDINO和SAM的预训练大型多模态模型相同的语言提示来预测这样的对应区域对。这使我们能够开发出一种完全自动化且无需训练的配准算法,该算法可能适用于广泛的图像配准任务。在本文中,我们使用一个具有挑战性的任务展示了实验结果,即配准具有高度可变强度和形态的跨体前列腺MRI图像。Tell2Reg是无训练的,消除了之前为这项配准任务所需的昂贵且耗时的数据整理和标注需求。该方法在测试的基于无监督学习的配准方法中表现出色,其性能与弱监督方法相当。还提供了额外的定性结果,表明语言语义和空间对应之间可能存在关联,包括语言提示区域中的空间不变性和获得的局部和全局对应之间的语言提示差异。代码可在 https://github.com/yanwenCi/Tell2Reg.git 获取。