一个基于VITS的简单易用的语音转换(变声器)框架,开源变声模型【RVC】
下面是其中的一个人声与AI人声的合作案例
这是up主和自己的AI歌声合唱的视频,其中用到了变声使用框架:RVC和DiffSinger开源项目
标题:中日双语花海!我和自己的ai合唱了!
链接:https://www.bilibili.com/video/BV1QP411X7A6/
下面这是AI的声音协力、视频制作的up主在评论区所分享的技术要点:
介于旧版未能展示笔记全文,把笔记要点整理如下
1 由九三本人授权素材,@花儿不哭 使用开源变声模型【RVC】训练AI声库模型并等待后续推理。
2 使用开源歌声合成引擎【DiffSinger】模仿九三唱法进行虚拟歌姬调教作为输入源。
a. 获取東北きりたん歌唱データベース同意利用规约获取开源数据并训练
b 利用Synthesizer V 制谱(1.9及以后需要冻结实参),感谢@某只泽 老师的原始谱面,我加了一些自己对93、周杰伦、中孝介对花海演绎的理解。
c 使用OpenSVIP工程转换后得到USTX工程,使用OpenUTAU调教:对特色转音、咬字进行最终调整。第一次调日文,比较生疏。
d 作为输入源使用RVC进行换声推理,并进行后续混音。
在此感谢九三小姐姐的演唱、花儿不哭大佬的RVC模型训练,以及在幕后辛勤工作的DiffSinger全体开发者、日语数据集标注者、模型训练者,在合规的情况下为大家展示AI的可能性。最后,DiffSinger是一款开源歌声合成SVS工具,在有本人授权和充足时间和标注的情况下,可以先制作AI声库,再直接用midi和歌词进行翻唱,继续改善细微的跨语种口音差异,以及拓展词曲创作赋能虚拟歌姬的上限。关注AI的同学们可以在了解简单易用的几种变声器工具的同时,关注不断在发展的DiffSinger项目。
b站视频教程