输入“/”快速插入内容

[音乐学习] AI音乐向100分迈进,钢琴曲音质修复

2024年4月11日创建
6534
前阵子Suno特别火,有大佬出了一个用Suno去网易云投稿成为音乐人的攻略,但Suno有个问题就是,生成的音乐音质太差,不仅噪音多,而且会出现无法修复的粘连音,随便听听可能还行,但经不起仔细推敲。于是就有了扒谱重置的想法。
网易云音乐投稿需要320kbps,44.1kHz的母带要求,所以要成为音乐人的级别,对于没有乐理基础的普通人(比如我),还有很长的路要走。选择钢琴曲做实验,本身钢琴相对初学者比较好控制,键盘乐也相对好辨认,大佬们可以交流下其他乐器。
简单的音质修复
一开始试了试线上已经有的啥瓜音质修复工具,比如这个团子ai,六块钱一首,修复完的确能有一些降噪,但是一些粘连音还是无法解决。
原始音频听起来会很糊,每个键都听不清楚。
Original
修复以后相对清晰了很多,但仍然有不少瑕疵,比如粘连音,高音会破音等问题,且要氪金。。。
Enhanced
我自己也写了个提升音质的模型,支持44.1khz采样率,320kbps码率转化,性能还会调优,Colab免费用~
扒谱的模型和代码准备
将音乐转成MIDI五线谱,然后通过成熟的合成器重新演奏,目前看是最稳定的合成方式了。字节已经在Github发布了古典钢琴曲数据集GiantMIDI-Piano,可以拿来抄作业,用钢琴转谱技术识别音频,并转换成可编辑的MIDI格式重新演奏。
知乎专栏上的大佬在这个项目上做了些改进,可以批量转谱,很方便。下面是代码包和钢琴模型包,直接下载即可
百度要会员比较麻烦,我另外传了个wps:https://kdocs.cn/join/gezxr3f
注意里面包含了训练好的模型,ffmpeg和python安装包,为了避免多个python版本冲突,建议大家自己安装python,用pip安装ffmpeg库。
代码块
pip install ffmpeg
运行环境
以Windows为例:
Python:由于实用到了f-string,至少要python 3.6以上版本,推荐现在比较流行的python 3.10
ffmpeg:需要把ffmpeg里bin文件夹设置path环境变量,让python可以正常调用