arXiv:2403.20058v3 公告类型: 替换-交叉 摘要: 同步功能PET/MR（sf-PET/MR）是一种前沿的多模态神经影像技术。它为同时监测和整合由时空协变代谢活动、神经活动和脑血流（灌注）构建的多方面脑网络提供了前所未有的机会。尽管具有高科学/临床价值，但PET/MR设备的硬件可及性不足限制了其应用，更不用说基于现代AI的PET/MR融合模型。我们的目标是开发一种临床可行的基于AI的疾病诊断模型，该模型在全面sf-PET/MR数据上进行训练，具有在推理过程中允许单模态输入（例如，仅PET）以及强制多模态准确性的能力。为此，我们提出了MX-ARM，一种多模态专家混合对齐与重建模型。它是模态可分离和可交换的，通过可学习权重动态分配不同的多层感知器（“专家混合”）来学习不同模态的各自表示。这种设计不会在单模态情况下牺牲模型性能。为了充分利用模态之间固有的复杂和非线性关系，同时为单模态推理生成细粒度表示，我们随后添加了一个模态对齐模块，将主导模态（例如，PET）与辅助模态（MR）的表示对齐。我们进一步采用多模态重建来提升学习特征的质量。在珍贵的多模态sf-PET/MR数据上进行的轻度认知障碍诊断实验展示了我们的模型在临床可行精准医学方面的有效性。