arXiv:2409.12477v1 公告类型: 交叉 摘要: 建模基频(F0)的自然轮廓在音乐音频合成中起着关键作用。然而,在复调音乐中转录和管理多个F0轮廓是具有挑战性的,并且尚未探索显式F0轮廓建模用于复调乐器合成。在本文中,我们提出了ViolinDiff,一个两阶段的基于扩散的合成框架。对于给定的提琴MIDI文件,第一阶段估计F0轮廓作为弯音信息,第二阶段生成包含这些表现细节的梅尔频谱图。定量指标和听觉测试结果表明,与没有显式弯音建模的模型相比,所提出的模型生成了更逼真的提琴声音。音频样本可在线获取:daewoung.github.io/ViolinDiff-Demo。