arXiv:2504.01428v1 宣告类型: cross 摘要：光学相干断层成像血管成像(OCTA)通过提供血液血管的精确3D成像，在成像微血管网络方面显示出巨大重要性，但它依赖于专用传感器和昂贵的设备。为此，先前的工作显示出将 readily available 的3D光学相干断层成像(OCT)图像转换为3D OCTA图像的潜力。然而，现有的OCTA转换方法直接从连续和无限的空间中学习OCT域到OCTA域的映射，并仅从单一视角，即OCTA项目图，获得指导，导致结果欠佳。为解决这一问题，我们提出了在离散和有限空间中从OCT到OCTA的3D图像转换的多视角三对齐框架，名为MuTri。在第一阶段，我们通过重建3D OCT和3D OCTA数据，预先训练两个向量量化变分自编码器(VQ-VAE)，为后续多视角指导提供语义先验。在第二阶段，我们的多视角三对齐促使另一个VQVAE模型在离散和有限的空间中学习OCT域到OCTA域的映射。具体地，我们提出了一种对比启发式的语义对齐，旨在最大化与从OCT和OCTA视角预训练的模型的互信息，以促进代码本学习。同时，我们提出了一种血管结构对齐，旨在最小化与从OCTA项目图视角预训练的模型的结构差异，从学习详细的血管结构信息中受益。我们还收集了第一个大规模数据集，即OCTA2024，该数据集包含846个主题的OCT和OCTA体积配对。