LLM2D
内窥镜组织跟踪:基于多方面引导注意力和混合流点监督的鲁棒内窥镜组织跟踪
Endo-TTAP: Robust Endoscopic Tissue Tracking via Multi-Facet Guided Attention and Hybrid Flow-point Supervision
作者: Rulin Zhou, Wenlong He, An Wang, Qiqi Yao, Haijun Hu, Jiankun Wang, Xi Zhang an Hongliang Ren
发布日期: 3/31/2025
arXiv ID: oai:arXiv.org:2503.22394v1

摘要

arXiv:2503.22394v1 跨领域类型:交叉 摘要:在内窥镜视频中准确跟踪组织点是机器人辅助外科导航和场景理解的关键,但由于复杂的变形、器械遮挡和密集轨迹标注的稀缺性,这一任务仍然具有挑战性。现有方法在这些条件下难以实现长期跟踪,主要是因为特征利用有限和依赖标注。我们提出了一种名为 Endo-TTAP 的新型框架,通过以下方式解决这些挑战:(1) 一种多方面引导注意力 (MFGA) 模块,该模块整合了多尺度流动态、DINOv2 语义嵌入和显式运动模式,以联合预测点位置、不确定性和遮挡意识;(2) 一种两阶段的递进课程学习策略,采用辅助课程适配器 (ACA) 进行初始化和混合监督。第 I 阶段使用具有光学流真实值的合成数据来进行不确定性和遮挡调节,而第 II 阶段结合了未经监督的流一致性监督和部分监督学习,以及现成跟踪器获得的细化伪标签。对两个 MICCAI 挑战数据集和收集的数据集进行广泛验证表明,Endo-TTAP 在组织点跟踪方面达到了最先进的性能,特别是在内窥镜条件复杂的场景中。源代码和数据集将在 https://anonymous.4open.science/r/Endo-TTAP-36E5 可用。