LLM2D
OpenMU:你的音乐理解瑞士军刀
OpenMU: Your Swiss Army Knife for Music Understanding
作者: Mengjie Zhao, Zhi Zhong, Zhuoyuan Mao, Shiqi Yang, Wei-Hsiang Liao, Shusuke Takahashi, Hiromi Wakaki, Yuki Mitsufuji
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2410.15573v3

摘要

我们提出了OpenMU-Bench,这是一个大型基准套件,用于解决训练多模态语言模型以理解音乐的数据稀缺问题。为了构建OpenMU-Bench,我们利用了现有的数据集并引导了新的标注。OpenMU-Bench还通过包含歌词理解和音乐工具的使用来拓宽音乐理解的范围。利用OpenMU-Bench,我们训练了我们的音乐理解模型OpenMU,并进行了大量的消融实验,证明OpenMU优于MU-Llama等基线模型。OpenMU和OpenMU-Bench都是开源的,以促进未来在音乐理解方面的研究,并提高创意音乐制作效率。