摘要
arXiv:2502.19390v2 宣告类型: 替换-交叉
摘要:多模态磁共振成像(Multi-modal MRI)对于提供有关大脑解剖和病理的补充信息至关重要,从而能够进行更准确的诊断。然而,在临床环境中获得高质量的多模态MRI由于时间限制、高成本和患者运动伪影等原因是困难的。为了克服这一困难,越来越多的研究兴趣集中在开发生成模型,这些模型可以从现有的源模态图像中合成缺失的目标模态图像。因此,我们的团队PLAVE设计了一个生成模型,将多模态对比学习与对关键肿瘤区域的关注相结合。具体来说,我们将适用于多种源模态的多模态对比学习集成,并通过在对比学习过程中根据熵选择特征来增强其效果。此外,我们的网络不仅生成缺失的目标模态图像,同时还能预测分割输出,同步进行。这种方法提高了生成器精确生成肿瘤区域的能力,最终改善了下游分割任务的性能。通过利用对比、分割以及额外的自表示损失的组合,我们的模型有效地反映了目标特定的信息并生成高质量的目标图像。因此,在Brain MR图像合成挑战中的结果表明,所提出模型在生成缺失模态方面表现优异。