通过根据给定的文本提示、和弦序列、旋律线索、音乐主题或形式等条件。
ChatMusician能自动生成结构完整、风格多样的音乐作品。
包括单声部旋律、和声编配，乃至完整的乐曲结构设计。
同时它还能理解和分析音乐理论的各个方面。
ChatMusician通过持续的预训练和微调LLaMA2，结合了文本兼容的音乐表示方式——ABC符号，使得模型能够像处理语言文本一样理解和生成音乐。
ABC符号是一种用文本字符来表示音乐的方法，它可以将音符、节奏和其他音乐元素转换成可以通过键盘输入的字符。这种表示方式的好处是，它使得音乐可以像处理文本语言一样被处理。简单来说，就是让模型能够“阅读”和“写作”音乐，就像它处理英语或其他自然语言文本一样。
## 主要功能：
1、音乐生成： ChatMusician能够根据给定的文本提示、和弦序列、旋律线索、音乐主题或形式等条件，自动生成结构完整、风格多样的音乐作品。这包括单声部旋律、和声编配，乃至完整的乐曲结构设计。性能超过GPT-4基线。
2、音乐理解： 该模型不仅能创作音乐，还能理解和分析音乐理论的各个方面，如和声分析、旋律结构、音乐形式等。这使得ChatMusician可以在音乐教育和理论分析中发挥作用。在专门设计的大学级音乐理解基准测试MusicTheoryBench上，ChatMusician在零样本设置中超过了LLaMA2和GPT-3.5，展示了其在音乐理论理解方面的优异性能。
3、资源共享： 项目提供了大规模的音乐-语言语料库（MusicPile）、音乐理论基准测试（MusicTheoryBench）、模型代码和在线演示，供研究和教育使用。
项目地址：https://shanghaicannon.github.io/ChatMusician/
论文：https://arxiv.org/abs/2402.16153
留言
發佈留言