LLM2D
通过短长时记忆SAM加速体积医学图像标注
Accelerating Volumetric Medical Image Annotation via Short-Long Memory SAM 2
作者: Yuwen Chen, Zafer Yildiz, Qihang Li, Yaqian Chen, Haoyu Dong, Hanxue Gu, Nicholas Konz, Maciej A. Mazurowski
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2505.01854v1

摘要

arXiv:2505.01854v1 类别:交叉 摘要:手动注释体积医学影像,如磁共振成像 (MRI) 和计算机断层扫描 (CT),是一个劳动密集型且耗时的过程。最近在视频对象分割基础模型方面的进展,例如分割一切皆有可能模型 2 (SAM 2),为通过手动标注一个或几个切片,然后在整个体积中传播目标掩膜,显著加速标注过程提供了可能。然而,在这种情况下,SAM 2 的性能各异。我们的实验表明,依赖单一记忆库和注意力模块容易导致错误传播,特别是在目标在前一个切片存在但在当前切片不存在的边界区域。为了解决这个问题,我们提出了一种新颖的架构——短-长记忆 SAM 2 (SLM-SAM 2),它结合了独立的短期和长期记忆库以及各自的关注模块,以提高分割准确性。我们将在 MRI 和 CT 模态下涵盖器官、骨骼和肌肉的三个公开数据集上评估 SLM-SAM 2。我们展示了所提出的方法在初始适应时有 5 个和 1 个体积可用的情况下,分别在平均 Dice 相似性系数上显著优于默认的 SAM 2,提高了 0.14 和 0.11。SLM-SAM 2 还表现出更强的防止过度传播的能力,这标志着朝着更准确的自动化医学图像分割模型开发迈出了一大步。