LLM2D
TSP-OCS:多视角手术视频分析中最优摄像头选择的时间序列预测
TSP-OCS: A Time-Series Prediction for Optimal Camera Selection in Multi-Viewpoint Surgical Video Analysis
作者: Xinyu Liu, Xiaoguang Lin, Xiang Liu, Yong Yang, Hongqian Wang, Qilong Sun
发布日期: 4/10/2025
arXiv ID: oai:arXiv.org:2504.06527v1

摘要

arXiv:2504.06527v1 Announce Type: cross 摘要:记录开放手术过程对于教育和医学评估至关重要;然而,传统单一摄像头方法往往面临手术者头部和身体导致的遮挡等问题,以及固定摄像头角度的限制,这降低了视频内容的可理解性。本研究通过采用多视角摄像机记录系统来解决这些限制,从六个不同角度捕捉手术过程以减轻遮挡问题。我们提出了一种基于完全监督学习的时间序列预测方法,从多个同时记录的视频流中选择最佳的拍摄序列,确保每个时刻的最佳视角。我们的时间序列预测模型通过使用预训练模型从手术视频中提取和融合视觉和语义特征来进行未来摄像头选择的预测。这些特征通过具有TimeBlocks的时序预测网络进行处理,以捕捉序列依赖性。线性嵌入层降低维度,Softmax分类器根据最高概率选择最优摄像头视图。在我们的实验中,我们创建了5组开放甲状腺切除术视频,每一组都同时从六个不同角度进行了录制。结果表明,即使在预测更长时间范围时,我们的方法也与传统的监督方法相比取得了竞争性的精度。此外,我们的方法在我们的数据集上优于最先进的时间序列预测技术。本论文通过呈现一种创新框架,推动了手术视频分析技术的进步,这对提高手术教育和患者安全具有重要意义。