LLM2D
PATHS:一种用于高效全幻灯片图像分析的分层Transformer
PATHS: A Hierarchical Transformer for Efficient Whole Slide Image Analysis
作者: Zak Buzzard, Konstantin Hemker, Nikola Simidjievski, Mateja Jamnik
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2411.18225v1

摘要

近年来,全切片图像 (WSI) 的计算分析取得了显著进展,其应用涵盖了重要的诊断和预后任务,例如生存预测或癌症亚型预测。许多最先进的模型将整个切片(可能高达 150,000 × 150,000 像素)作为许多图像块的集合进行处理,其大小需要计算代价低的特征聚合方法。然而,这些图像块中很大一部分是没有信息的,例如只包含健康或脂肪组织的图像块,这些图像块会给集合增加大量的噪声和大小。我们提出了一种新的自上而下的分层弱监督表示学习方法——病理学分层选择Transformer (PATHS),用于计算病理学中的切片级任务。PATHS 的灵感来自于人类病理学家检查切片的方式,即以交叉放大倍数的方式递归地将每个放大倍数下的图像块过滤到与诊断相关的少量子集。我们的方法克服了处理整个切片的复杂性,实现了二次自注意力机制,并提供了一个简单易懂的区域重要性度量。我们将 PATHS 应用于癌症基因组图谱 (TCGA) 的五个数据集,并在切片级预测任务中取得了优于以往方法的性能,即使只处理了很小一部分切片。