arXiv:2503.18968v1 通知类型: 新 摘要: 开发出可靠的AI系统以协助人类临床医生进行多模态医疗诊断一直是研究人员的重要目标。最近，多模态大型语言模型（MLLMs）获得了广泛关注并在多个领域取得了成功。凭借强大的推理能力以及根据用户指令执行多种任务的能力，它们在增强医疗诊断方面具有巨大的潜力。然而，直接将MLLMs应用于医疗领域仍然存在挑战。它们缺乏对视觉输入的详细感知能力，限制了它们执行定量图像分析的能力，而定量图像分析对医疗诊断至关重要。此外，MLLMs在推理方面经常表现出幻觉和不一致，而临床诊断必须严格遵守已确立的标准。为了解决这些挑战，我们提出了一种基于证据的推理代理系统MedAgent-Pro，旨在实现可靠的、可解释的和精确的医疗诊断。这通过分层工作流程实现：在任务层面，基于知识的推理生成遵循检索到的临床标准的可靠诊断计划。而在病例层面，多个代理工具处理多模态输入，根据计划分析不同的指标，并根据定量和定性证据提供最终诊断。在2D和3D医疗诊断任务上的全面实验表明了MedAgent-Pro的优越性和有效性，而案例研究进一步突显了其可靠性和可解释性。代码可在https://github.com/jinlab-imvr/MedAgent-Pro获得。