arXiv:2502.08916v1 交叉类型诊断 摘要：通过组织学全切片图像（WSI）诊断疾病是现代病理学的基础，但WSI的亿级像素规模和复杂性带来了挑战。经过训练的病理科专家通过导航WSI、寻找相关切片、做笔记并整理这些信息以生成最终的整体诊断来克服这一挑战。传统的AI方法，如实例学习和基于变压器的模型，无法实现这种整体、迭代、多尺度的诊断过程，限制了其在现实世界中的应用。我们提出了一种多模态、多代理框架PathFinder，该框架模仿了专家病理科医生的决策过程。PathFinder集成了四个AI代理——分诊代理、导航代理、描述代理和诊断代理，它们协同工作，导航WSI，收集证据，并提供以自然语言解释为基础的全面诊断。分诊代理将WSI分类为良性或有风险；如果是有风险的情况，导航代理和描述代理将迭代地关注重要区域，生成重要性地图和样本切片的描述性见解。最后，诊断代理综合这些发现来确定患者的诊断分类。我们的实验表明，PathFinder在皮肤黑色素瘤诊断上比最先进的方法高出8%，并通过自然语言描述诊断相关切片来提供内在的可解释性。病理学家的定性分析表明，描述代理的输出质量高，并与GPT-4o相当。PathFinder还是首个在这一具有挑战性的黑色素瘤分类任务中超越平均病理学家性能9%的AI系统，为病理学中高效、准确和可解释的人工智能辅助诊断设定了新纪录。数据、代码和模型可在https://pathfinder-dx.github.io/获得。