摘要
手术器械分割对于微创手术及相关应用至关重要。大多数先前的方法将此任务制定为基于单帧的实例分割,而忽略了手术视频的自然时间和立体属性。因此,这些方法对时间运动和视角变化引起的表观变化的鲁棒性较差。在这项工作中,我们提出了一种新颖的 LACOSTE 模型,该模型利用立体图像和时间图像中的位置无关上下文来改进手术器械分割。以基于查询的分割模型为核心,我们设计了三个性能增强模块。首先,我们设计了一个视差引导特征传播模块来显式增强深度感知特征。为了即使只有单目视频也能很好地泛化,我们应用了一种伪立体方案来生成互补的右图像。其次,我们提出了一种立体时间集合分类器,它以通用的方式聚合立体时间上下文以进行整合预测并减轻瞬态故障。最后,我们提出了一种位置无关分类器,以将位置偏差与掩码预测解耦,并增强特征语义。我们在三个公开的手术视频数据集上广泛验证了我们的方法,包括来自 EndoVis 挑战赛的两个基准数据集和一个真实的根治性前列腺切除术数据集 GraSP。实验结果证明了我们方法的良好性能,其始终与以前的最新方法取得相当或更好的结果。