arXiv:2409.15092v1 公告类型: 交叉 摘要: 空间转录组学(ST)的进步促进了基于组织病理学图像的基因表达空间感知分析。尽管ST数据为肿瘤微环境提供了宝贵的见解，但其获取成本仍然高昂。因此，直接从数字病理图像预测ST表达是理想的。当前的方法通常采用现有的回归骨干网络结合补丁采样来完成此任务，这忽略了数字病理图像金字塔数据结构中固有的多尺度信息，并且浪费了对于准确基因表达预测至关重要的点间视觉信息。为了解决这些限制，我们提出了M2OST，一种多对一回归Transformer，它通过解耦的多尺度特征提取器来适应病理图像的分层结构。与传统模型通过一对一的图像-标签对进行训练不同，M2OST使用来自数字病理图像不同层次的多个图像来联合预测其共同对应点的基因表达。基于我们的多对一方案，M2OST可以轻松扩展以适应不同数量的输入，并且其网络结构自然地结合了邻近点间特征，增强了回归性能。我们在三个公开的ST数据集上测试了M2OST，实验结果表明，M2OST可以在更少的参数和浮点运算(FLOPs)下实现最先进的性能。代码将在接受后发布。