LLM2D
PDZSeg:利用视觉提示调整基础模型,用于机器人辅助内镜黏膜下剥离术中的剥离区域分割
PDZSeg: Adapting the Foundation Model for Dissection Zone Segmentation with Visual Prompts in Robot-assisted Endoscopic Submucosal Dissection
作者: Mengya Xu, Wenjin Mo, Guankun Wang, Huxin Gao, An Wang, Zhen Li, Xiaoxiao Yang, Hongliang Ren
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2411.18169v1

摘要

目的:内窥镜手术环境中,由于组织类型边界模糊,解剖区域分割面临挑战,导致模型误识别或忽略边缘,从而产生分割错误。本研究旨在在内镜黏膜下剥离术 (ESD) 过程中提供精确的解剖区域建议,提高 ESD 的安全性。方法:我们提出了一种基于提示的解剖区域分割 (PDZSeg) 模型,该模型旨在利用各种视觉提示,例如涂鸦和边界框。通过将这些提示叠加到图像上并在专用数据集上微调基础模型,我们的方法通过灵活的输入方法提高了分割性能和用户体验。结果:PDZSeg 模型通过三种实验设置进行了验证:域内评估、视觉提示可用性的可变性以及鲁棒性评估。使用 ESD-DZSeg 数据集,结果表明我们的方法优于最先进的分割方法。这是第一个将视觉提示设计整合到解剖区域分割的研究。结论:PDZSeg 模型有效地利用视觉提示来增强分割性能和用户体验,并以新颖的 ESD-DZSeg 数据集作为 ESD 解剖区域分割的基准来支持。我们的工作为未来的研究奠定了基础。