LLM2D
在上下文学习中的标签高效癌症图像分类在肿瘤学中的应用
In-Context Learning for Label-Efficient Cancer Image Classification in Oncology
作者: Mobina Shrestha, Bishwas Mandal, Vishal Mandal, Asis Shrestha
发布日期: 5/15/2025
arXiv ID: oai:arXiv.org:2505.08798v1

摘要

arXiv:2505.08798v1 类型: cross 摘要:AI在肿瘤学中的应用受到其对大型注释数据集的依赖以及需要对特定领域诊断任务重新训练模型的限制。鉴于这些局限性,我们考察了上下文学习作为一种实用的替代方案,该方案允许模型通过仅在推理时使用少量标记的示例来适应新的诊断任务,而无需重新训练。我们使用了四个视觉-语言模型(VLMs):Paligemma、CLIP、ALIGN和GPT-4o,在三个肿瘤学数据集中评估了这些模型的性能:MHIST、PatchCamelyon和HAM10000。据我们所知,这是首次对多个VLM在不同肿瘤分类任务上的性能进行比较的研究。无需任何参数更新,所有模型在少量提示下都显示出了显著的性能提升,GPT-4o在二分类和多分类设置中的F1分数分别为0.81和0.60。虽然这些结果仍低于完全微调系统的天花板,但它们突显了上下文学习通过少量示例来近似特定任务行为的潜在价值,反映出临床医生通常是如何基于前例进行推理的。值得注意的是,尽管Paligemma和CLIP这样的开源模型规模较小,但也展现了竞争力的提升,这表明它们在计算受限的临床环境中部署的可行性。总体而言,这些发现强调了上下文学习作为肿瘤学中实用解决方案的潜力,尤其在罕见癌症和资源有限的环境中,微调不可行且注释数据难以获取。