LLM2D
基于对比学习的多阶段渐进微调SNN和RL驱动的外部优化增强GANs
Enhancing GANs with Contrastive Learning-Based Multistage Progressive Finetuning SNN and RL-Based External Optimization
作者: Osama Mustafa
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2409.20340v1

摘要

深度学习在癌症研究中的应用,特别是在早期诊断、病例理解和治疗策略设计方面,强调了高质量数据的需求。生成式人工智能,尤其是生成对抗网络(GANs),已经成为解决诸如类别不平衡、鲁棒学习和模型训练等挑战的领先解决方案,同时解决了患者隐私和真实数据稀缺带来的问题。尽管 GANs 有着巨大的潜力,但它们面临着一些挑战,这些挑战既是固有的,也是针对组织病理学数据特有的。固有的问题包括训练不平衡、模式崩溃、从不足的鉴别器反馈中进行线性学习,以及由于严格的反馈导致的硬边界收敛。组织病理学数据以其复杂的表示、高空间分辨率和多尺度特征,呈现出独特的挑战。为了应对这些挑战,我们提出了一个包含两个组件的框架。首先,我们引入了一种基于对比学习的多阶段渐进微调孪生神经网络 (MFT-SNN),用于评估组织病理学图像块之间的相似性。其次,我们在 GAN 训练循环中实施了一个基于强化学习的外部优化器 (RL-EO),作为奖励信号生成器。修改后的鉴别器损失函数包含加权奖励,引导 GAN 最大化此奖励,同时最小化损失。这种方法为鉴别器提供了一个外部优化指南,防止生成器过拟合并确保平滑收敛。我们提出的解决方案已在最先进的 (SOTA) GAN 和去噪扩散概率模型上进行了基准测试,在各种指标上优于之前的 SOTA,包括 FID 分数、KID 分数、感知路径长度和下游分类任务。