arXiv:2409.13115v1 公告类型: 交叉 摘要: 医学诊断领域见证了人工智能(AI)与医疗数据之间的变革性融合，为提升患者护理和疾病理解提供了有前景的途径。然而，这种多模态数据的整合，特别是病理学全切片图像(WSIs)和基因测序数据的整合，由于模态差异和需要可扩展的计算解决方案，带来了独特的挑战。本文针对多模态解决方案的稀缺性，主要集中在单模态数据解决方案上，从而限制了从整合图像和基因数据中获取丰富洞察力的实现。在此，我们介绍了MarbliX“多模态关联与检索与二进制潜在索引矩阵”，这是一个创新的多模态框架，它将病理学图像与免疫基因组测序数据整合在一起，将其封装成一个简洁的二进制患者代码，称为“单字”。这种二进制表示有助于建立一个全面的档案，使临床医生能够匹配相似病例。实验结果表明，MarbliX具有为医疗专业人员提供深入洞察力的潜力，从而实现更精确的诊断、减少变异性并扩展个性化治疗选择，特别是在癌症背景下。