LLM2D
少即是多?重新审视实时零样本手术视频分割中的帧率重要性
Less is More? Revisiting the Importance of Frame Rate in Real-Time Zero-Shot Surgical Video Segmentation
作者: Utku Ozbulak, Seyed Amir Mousavi, Francesca Tozzi, Niki Rashidian, Wouter Willaert, Wesley De Neve, Joris Vankerschaver
发布日期: 4/8/2025
arXiv ID: oai:arXiv.org:2502.20934v2

摘要

arXiv:2502.20934v2 宣告类型: replace-cross 摘要:实时视频分割是AI辅助手术的一项有前景的功能,通过识别手术工具和解剖结构为术中提供指导。然而,在实际应用中部署最先进的分割模型(如SAM2)是个计算密集型任务,这使得平衡帧率和分割性能变得至关重要。在这项研究中,我们探讨了帧率对零样本手术视频分割的影响,评估了SAM2在胆囊切除手术程序中的有效性,涉及多种帧采样率。令人惊讶的是,我们的研究结果表明,在传统的评估设置中,每秒一帧的帧率甚至可以优于25 FPS,因为较低的帧率可以平滑分割不一致之处。然而,在实时流媒体场景中评估时,较高的帧率提供了更优秀的时域连续性和稳定性,尤其是在手术钳等动态物体方面。最后,我们在与此类数据紧密合作的专业人士中调查了实时手术视频分割的人类感知,发现受访者一致偏好高FPS分割掩码叠加,进一步强调了AI辅助手术中实时评估的重要性。