arXiv:2505.07214v1 宣布类型: cross 摘要: 在疾病分析和手术计划中，手动分割体部医学成像（例如MRI、CT）是劳动密集型、容易出错且难以掌握的工作，而完全自动化的算法可以从用户反馈中获益。因此，结合最新放射学AI基础模型和虚拟现实（VR）直观的数据交互能力，我们提出了SAMIRA，这是一种新型对话AI代理，可以协助用户在VR中定位、分割和可视化三维医学概念。通过基于语音的交互，该代理帮助用户理解放射学特征，定位临床目标，并生成可以通过少量点击提示进行细化的分割掩码。该系统还支持精确比例的三维可视化分割病理，以增强患者特定的解剖学理解。此外，为了在沉浸式、以人为中心的工作流程中确定在近距离-远距离注意力切换下细化分割掩码的最佳交互模式，我们比较了VR控制器指示、头部指示和眼动追踪作为输入模式。通过用户研究，评估结果显示了高可用性评分（SUS=90.0 ± 9.0）、较低的整体任务负载，以及为所提出的VR系统提供的指导、培训潜力和AI在放射学分割任务中的整合提供了强有力的支持。