arXiv:2502.05937v1 Announce Type: 跨领域 摘要：本文介绍了一个框架，该框架将一个深度生成预训练变换器语言模型与生成式对抗网络结合，用于半监督文本生成。换句话说，提出的模型首先在包含24层的大型和多样化的文本语料库上进行无监督预训练。然后引入了一个简单的GAN架构用于合成文本生成，并应用Gumbel-Softmax来处理标记的离散性。文章还展示了如何通过增加GAN样本来增强真实数据，并进一步使用合并数据集对该变换器模型进行微调的半监督方法。此外，还包含了详细的理论推导，概述了最小-最大目标函数的证明，并对Gumbel-Softmax重参数化技巧进行了广泛的讨论。