arXiv:2410.15038v2 通知类型: 替换-跨领域 摘要：诊断和治疗皮肤疾病需要跨领域的高级视觉技能，并且能够从多种成像模态中综合信息。尽管当前的深度学习模型在如从皮肤镜图像诊断皮肤癌等特定任务上表现出色，但在满足临床实践中复杂的、多模态要求方面仍存在困难。在这里，我们介绍了一种名为PanDerm的多模态皮肤科基础模型，通过在来自4种成像模态的11个临床机构的超过200万张真实世界皮肤疾病图像上进行自我监督学习预训练而成。我们对PanDerm进行了28个多样化的基准测试评估，包括皮肤癌筛查、风险分层、常见和罕见皮肤状况的鉴别诊断、病灶分割、纵向监测、以及转移预测和预后。PanDerm在所有评估任务上均实现了最先进的性能，常常仅使用10%的标记数据就能超越现有模型。我们进行了3项读者研究以评估PanDerm在临床中的潜在实用性。通过纵向分析，PanDerm在早期黑色素瘤检测方面比临床医生提高了10.2%的表现；在皮肤镜图像上的皮肤癌诊断准确性提高了11%；并且在128种皮肤状况的临床照片上提高了非皮肤科医疗提供者的鉴别诊断能力16.5%。这些结果表明，PanDerm有潜力在各种临床场景中改善患者护理，并且作为一种在其他医学专科开发多模态基础模型的模型，有可能加速AI支持在医疗保健领域的应用。