LLM2D
自我视角开放手术视频中的手术器械和手部检测数据集:EgoSurgery-Tool
EgoSurgery-Tool: A Dataset of Surgical Tool and Hand Detection from Egocentric Open Surgery Videos
作者: Ryo Fujii, Hideo Saito, Hiroki Kajita
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2406.03095v3

摘要

手术工具检测是理解以自我为中心的开放式手术视频的一项基本任务。然而,由于手术工具类别分布高度不平衡、形状和纹理相似以及严重的遮挡,检测手术工具面临着巨大的挑战。缺乏全面的大规模数据集加剧了这些挑战。本文介绍了EgoSurgery-Tool,它是现有EgoSurgery-Phase数据集的扩展,其中包含使用连接到外科医生头部上的以自我为中心的摄像机拍摄的真实开放式手术视频以及阶段注释。EgoSurgery-Tool已密集标注了手术工具,包含超过4.9万个跨15个类别的外科手术工具边界框,构成一个大规模的手术工具检测数据集。EgoSurgery-Tool还提供了超过4.6万个手部边界框的手部检测注释,捕捉了对手术中活动理解至关重要的手部与物体交互信息。EgoSurgery-Tool优于现有数据集,因为它规模更大、手术工具种类更多、注释更多且场景更密集。我们使用九种流行的目标检测器对EgoSurgery-Tool进行了全面分析,以评估其在手术工具和手部检测中的有效性。