arXiv:2411.06438v3 宣布类型: 更改交叉 摘要: 尽管自回归模型在自然语言处理中表现出色，但它们经常难以生成多样化的文本并提供有限的可控性。非自回归方法可以是一个替代方案，但通常会产生退化的输出并在条件生成方面显示出缺点。为了解决这些挑战，我们提出了Diffusion-EAGS，这是一种新颖的框架，通过条件马尔可夫随机场的理论视角，将条件遮蔽语言模型整合到扩散语言模型中。在此过程中，我们提出了自entropy适应的吉布斯采样和基于entropy的噪声调度，以平衡每个模型的缺点。实验结果显示，Diffusion-EAGS在基础模型之上表现出色，并实现了最佳的质量-多样性权衡，证明了其在非自回归文本生成中的有效性。