LLM2D
ProMISe:基于 SAM 的可提示医疗图像分割
ProMISe: Promptable Medical Image Segmentation using SAM
作者: Jinfeng Wang, Sifan Song, Xinkun Wang, Yiyi Wang, Yiyi Miao, Jionglong Su, S. Kevin Zhou
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2403.04164v3

摘要

随着 Segment Anything Model (SAM) 的提出,微调 SAM 用于医学图像分割 (MIS) 变得流行。然而,由于 SAM 模型的庞大规模以及自然图像和医学图像之间巨大的领域差异,基于微调的策略成本高昂,并存在不稳定、特征损坏和灾难性遗忘的风险。此外,一些通过微调策略将 SAM 转移到特定领域 MIS 的方法会禁用模型的提示能力,严重限制了其使用场景。在本文中,我们提出了一种自动提示模块 (APM),它为基于 SAM 的基础模型提供了目标域中的欧几里得自适应提示。我们的实验表明,这种自适应提示显著提高了 SAM 在 MIS 中的非微调性能。此外,我们提出了一种名为增量模式迁移 (IPS) 的新型非侵入式方法,以使 SAM 适应特定的医学领域。实验结果表明,IPS 使 SAM 能够在 MIS 中实现最先进或具有竞争力的性能,而无需微调。通过将这两种方法结合起来,我们提出了 ProMISe,一个用于可提示医学图像分割的端到端非微调框架。我们的实验表明,无论是单独使用我们的方法还是组合使用,都可以在低成本模式迁移中实现令人满意的性能,并且 SAM 的所有参数都保持冻结状态。