香港科技大学联合 M-A-P、Noiz AI 等机构开源的音乐模型 YuE2，给它一段歌词和风格描述就能生成带人声与伴奏的歌曲，还能先出曲谱、改旋律换和声再重做。作者在 M1 Pro、16GB 内存的机器上跑通部署，20 秒音频大约花 4 分钟。

这两天，我在电脑上部署了一个音乐生成项目，叫 YuE2。

惊艳到我了。。。

这是香港科技大学联合 M-A-P、Noiz AI、斯坦福大学等机构，搞出的开源音乐生成模型。

给它一段歌词，再说说想要什么风格，它就能生成带人声和伴奏的歌曲。

它还可以先写出曲谱，让你改改旋律、换换和声，再生成一个新版本。

先听一首它生成的中文 R&B 歌曲。

可以留意人声的咬字、句子之间的衔接，以及伴奏怎样配合演唱。

还是挺顶的。

如果手里已经有一段歌词，或者一直想把某个旋律改成自己喜欢的风格，可以试试 YuE2。

下面有教你怎么部署，以及我实测的一些效果。

非常惊艳，非常牛逼。

开源地址：https://github.com/multimodal-art-projection/YuE

官方演示：https://map-yue2.github.io/

中文体验：https://noiz.ai/lp/zh/yue2

01 开源项目简介

用 YuE2 写歌，需要准备的主要是歌词和风格描述。

歌词可以按主歌、副歌分好段。

风格描述则可以写得具体一点，比如中文女声、木吉他和钢琴、节奏舒缓，想要一种傍晚散步的感觉。

这些描述会成为模型的生成条件。

比如下面这个，就是网友用 YUE2 做的一首波兰舞曲《Jedna Odpowiedź》。

他原本想做爵士乐，结果没达到预期后来尝试了 Disco Polo，反而一路做了好几首。

YuE2 还可以根据已有曲谱重新演绎音乐。

手里只有录音时，可以配合 SheetSage2，把录音转成曲谱。

检查好旋律，再交给 YuE2，并指定新的风格和歌词。

听听下面这个，把《星际穿越》的主题改编成电子金属风格。

听的时候，可以留意熟悉的旋律线索，以及换了编曲之后的变化。

它还能继续修改音乐。

一首歌有了大致的样子，有时候你可能还想换换和声，让伴奏更有爵士感，同时保留喜欢的旋律。

在 YuE2 的曲谱里，旋律和和弦都有对应内容，可以修改后再生成。

直接听下面这个，第一段是最初的流行版本。

第二段保留了曲谱中的旋律，修改和声，同时换用了爵士风格描述。

可以找到相同的歌词段落，来回听听两版的伴奏和演唱。

这里的两个版本同时涉及和声与风格变化。

除此之外，这个开源项目也能修改曲谱，支持带曲谱规划模型。

YuE2 会先根据歌词和风格描述，写出包含旋律与和弦的曲谱，再生成音乐内容，最终转换成带人声和伴奏的音频。

02 怎么部署使用

我用的是 M1 Pro、16GB 内存的 MacBook Pro。

安装很简单。

直接把下面这句话发给你的 Codex 或者其他 Agent。

我让 AI 写了一段歌词，给它取名《晚风来信》。

其中几句是：晚风翻过旧书页、路灯亮在长街、你把今天的疲倦、轻轻放在我身边。

风格设为中文民谣流行，想要温暖、贴近耳边的女声。

配木吉他、钢琴和轻柔的鼓点。

用这个部署好的开源项目最终生成了一段约 20 秒的双声道音频，大概用了 4 分钟。

再来一个，我输入了如下提示词，然后等了 20 分钟，效果就是下面这样的。

你帮我生成一个歌曲。这个歌曲的风格我想要一个说唱，然后核心的主题是夸一夸小爽。你先写歌词，然后再基于我刚刚部署的这个开源模型生成一个中文版的 Rap。

如果你不想折腾本地部署，可以直接去 Noiz AI 官网（https://noiz.ai） 体验 YuE2，输入文字就能试着生成自己的音乐。

Noiz AI 本身就是一家专注于 AI 声音模型和创作工具的公司。

除了做模型研究，他们也把这些技术做成了普通人能直接上手的 AI 创作工具。

开源地址：https://github.com/multimodal-art-projection/YuE

官方演示：https://map-yue2.github.io/

中文体验：https://noiz.ai/lp/zh/yue2