摘要
arXiv:2505.07214v2 宣告类型: 替换交叉
摘要:在疾病分析和手术规划中至关重要的手动分割体医学扫描(例如MRI、CT)是费时的、容易出错的且难以掌握的,而全自动算法可以从用户反馈中受益。因此,结合最新的放射学AI基础模型和虚拟现实(VR)直观的数据交互的力量,我们提出了SAMIRA,这是一种新的对话式AI代理,它通过VR帮助用户定位、分割和可视化3D医学概念。通过基于声音的交互,该代理帮助用户理解放射学特征、定位临床目标,并生成可以通过少量点提示进行细化的分割掩码。该系统还支持以真实比例可视化分割病理,从而增强针对特定患者的解剖理解。此外,为了在沉浸式、人机交互的工作流中确定近-远注意力切换下优化分割掩码的交互模式,我们比较了VR控制器指点、头部指点和眼动追踪作为输入模式。通过用户研究,评估结果显示了极高的可用性评分(SUS=90.0±9.0)、较低的整体任务负载,以及对所提议的VR系统指导、培训潜力以及将AI集成到放射学分割任务中的强有力支持。