arXiv:2412.21037v2 发布类型: replace-cross 摘要: 我们引入了TangoFlux，一个高效的文本到音频(TTA)生成模型，参数量为515M，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。在对齐TTA模型时面临的 key 挑战之一是难以创建偏好对，因为TTA缺乏大型语言模型(LLMs)中可用的可验证奖励或黄金标准答案等结构化机制。为了解决这一问题，我们提出了CLAP-排名偏好优化(CRPO)这一新颖框架，该框架通过迭代生成和优化偏好数据来增强TTA对齐。我们证明了使用CRPO生成的音频偏好数据集优于现有替代方案。在此框架下，TangoFlux在客观和主观基准测试中均取得了最先进的性能。我们开源了所有代码和模型以支持对TTA生成的进一步研究。