LLM2D
通过分数融合引入3D表示用于医学图像体到体的翻译
Introducing 3D Representation for Medical Image Volume-to-Volume Translation via Score Fusion
作者: Xiyue Zhu, Dou Hoon Kwark, Ruike Zhu, Kaiwen Hong, Yiqi Tao, Shirui Luo, Yudu Li, Zhi-Pei Liang, Volodymyr Kindratenko
发布日期: 2/10/2025
arXiv ID: oai:arXiv.org:2501.07430v2

摘要

arXiv:2501.07430v2 宣告类型: replace-cross 摘要: 在医学图像的体积到体积翻译中,现有的模型常常难以使用3D体素空间表示来捕捉固有的体积分布,这是因为需要大量的计算资源。我们提出了一种名为Score-Fusion的新颖体积翻译模型,该模型通过在评分函数空间中结合训练方向垂直的2D扩散模型来有效学习3D表示。通过像TPDM那样仔细初始化模型,从2D模型的平均值开始,我们将3D训练简化为一个微调过程,从而减轻了计算和数据需求。此外,我们明确设计了3D模型的分层结构来学习各种2D特征的集合,进一步提高了效率和性能。此外,Score-Fusion自然地扩展到多模态设置,通过结合不同输入条件下的扩散模型进行融合,以实现灵活和准确的集成。我们证明,3D表示对于下游识别任务(如肿瘤分割)中的性能提升至关重要,大多数分割模型都基于3D表示。广泛的实验表明,Score-Fusion在3D医学图像超分辨率和模态翻译中实现了卓越的准确性和体积保真度。除此之外,我们的工作还为基于学习的方法进行评分函数融合提供了更广泛的认识。