摘要
arXiv:2405.05336v2 宣告类型:替换交叉
摘要:尽管现有的深度学习模型在处理来自不同领域、具有不同外观和内容的图像时表现出色,但它们也面临着诸多挑战。我们介绍了SegCLR,这是一个多功能框架,旨在跨不同领域分割图像,同时采用监督学习和对比学习相结合的方法,有效地从有标签和无标签数据中学习。我们通过全面评估三个不同临床数据集的3D视网膜光学相干断层扫描(OCT)图像,展示了SegCLR在按切片分割具有不同网络配置的流体方面的优越性能,并在10种不同网络初始化下进行验证。在无监督领域适应的背景下,SegCLR的表现与在目标领域进行监督训练的上界模型相当。值得注意的是,我们发现SegCLR框架的分割性能受到目标领域大量无标签数据的影响较小,因此我们还提出了SegCLR的有效领域泛化扩展,也称为零样本领域适应,这消除了对目标领域信息的需求。这表明,在分割标准监督训练中加入对比损失,可以生成更优秀的模型,这些模型能够更自然地适应域内和域外测试数据。我们还提出了一种实际解决方案,实现在包含标记数据的多个领域中部署SegCLR。因此,我们的框架在多领域应用中推动了基于深度学习的分割边界,无论数据是否充足—有标签的、无标签的或不存在的。