位置: IT常识 - 正文

基于so-vits-svc语音模型实现AI翻唱歌曲(svc语法)

编辑:rootadmin
基于so-vits-svc语音模型实现AI翻唱歌曲

目录

获取数据集

开始训练

开始推理(翻唱)


获取数据集

推荐整理分享基于so-vits-svc语音模型实现AI翻唱歌曲(svc语法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:基于sysml,sov语言,svc语法,基于svm,sov语言,sov型语言是什么意思,基于svm,sov型语言举例,内容如对您有帮助,希望把文章链接给更多的朋友!

工具整合包来源

【AI翻唱/SoVITS 4.0】手把手教你老婆唱歌给你听~无需配置环境的本地训练/推理教程[懒人整合包]_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1H24y187Ko/?spm_id_from=333.1007.top_right_bar_window_custom_collection.content.click&vd_source=bd7513aedfc5a6d9d2da276ca29e3cb5

音频来源

QQ音乐-HQ高品质下载

zutomayo的歌曲列表

Dear Mr [F]

去和声、混响、切片按上面教程来就好了

已得到数据集

本地硬件水平有限,上云端GPU服务器训练

【so-vits-svc】手把手教你老婆唱歌_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1vM4y1S7zB/?vd_source=bd7513aedfc5a6d9d2da276ca29e3cb5

AutoDL上选一个好显卡,镜像为up的改进版(加了webui和补充了很多注释)

资源清单

显卡:A5000,cuda版本11.6

镜像:so-vits-svc-webui

按readme.ipynb步骤走,最后开始训练

开始训练

训练的相关细节(config.json)

关于训练过程几个指标的关系参考如下

(167条消息) so-vits-svc3.0 中文详细安装、训练、推理使用教程_Sucial的博客-CSDN博客https://blog.csdn.net/Sucial/article/details/129104472

上面最多语音说话人的语音数可以理解为训练集大小,也就是说训练集越大,batch_size越小,训练就越快,但训练集比较大时,batch_size调太小猜测有可能会对训练效果产生影响 

一次处理数据集的数量:batch_size

如果数据集比较小,则推荐设置得小一点,比如我这次训练只是当作测试,数据集只用了一首歌,切成了12份,数据集大小就只有12,batch_size就只设置成了2,如果设置得太大会导致训练很久都训练不出一个模型,batch_size太大据说也比较吃显存,推荐设置成12以内,数据集很大再调高点

基于so-vits-svc语音模型实现AI翻唱歌曲(svc语法)

训练速度:learning_rate

按readme说两者要成正比,我batch_size调成了2,learning_rate调成了0.000033,训练速度不是看epoch的打印快慢,可以参照输出模型的快慢或者输出评估信息的快慢

隔多久输出一次评估信息:log_interval

注意不是代表打印多少次epoch,数据集越小、batch_size越大需要越多的epoch才能输出一次评估信息

下方是评估信息,各个浮点数的值越小代表损失越小,效果越好,不太熟悉可以不管

隔多久输出一次模型:eval_interval

注意不是代表打印多少次epoch,数据集越小、batch_size越大需要越多的epoch才能输出一次模型,输出模型就是log/44k目录下的那些G_开头的pth文件,D_开头的不能用

修改后的config.json如下

QA

停止后继续训练

So-VITS-SVC 4.0 训练/推理常见报错和Q&A - 哔哩哔哩 (bilibili.com)https://www.bilibili.com/read/cv22206231/

训练不出模型

个人记录VITS使用问题(先发一些,持续摸索) - 哔哩哔哩 (bilibili.com)https://www.bilibili.com/read/cv22071912/

开始推理(翻唱)

按改进版镜像中的readme使用webui来推理

Webui中只能转换wav文件,其他格式控制台报错要求我们先装ffmpeg把其他格式转成wav,那些可调参数似乎还不能改,改了就转不成了

为了不爆现存,我本地将歌曲(米泽园的POWDER SNOW)先用UVR分成人声和bgm,将人声用AU切分成每段最长1分钟,一段段传到webui上转换后再下回本地

然后再使用AU将多段音频合成完整一段人声(复制音频粘贴到另一段音频后面),还要使用混合音轨将完整人声和前面的bgm分别拉进两段音轨里并对齐开头

右键混音会话为新建文件,左侧工作区多了一个音频

双击后全选整段音频右键保存,即可得到最后的完整AI音频

本文链接地址:https://www.jiuchutong.com/zhishi/295289.html 转载请保留说明!

上一篇:关于WEB-INF目录及Tomcat部署方式、原理的简单理解(web-inf lib)

下一篇:HTML表格合并行和列(html表单合并行)

  • 三星耳机怎么配对(三星耳机怎么配对小米手机)

    三星耳机怎么配对(三星耳机怎么配对小米手机)

  • 戴尔笔记本电脑怎么样(戴尔笔记本电脑怎么连接无线网wifi)

    戴尔笔记本电脑怎么样(戴尔笔记本电脑怎么连接无线网wifi)

  • 华为手机为什么变成黑白的了(华为手机为什么没有5G手机了)

    华为手机为什么变成黑白的了(华为手机为什么没有5G手机了)

  • 腾讯会议怎么把自己静音(腾讯会议怎么把一个人的画面放大)

    腾讯会议怎么把自己静音(腾讯会议怎么把一个人的画面放大)

  • 美团众包永久封禁还能解封吗(美团众包永久封禁怎么解封)

    美团众包永久封禁还能解封吗(美团众包永久封禁怎么解封)

  • 剪映是什么(剪映是什么意思,什么功能)

    剪映是什么(剪映是什么意思,什么功能)

  • 苹果11视频有回音什么原因(苹果11视频有回音怎么解决)

    苹果11视频有回音什么原因(苹果11视频有回音怎么解决)

  • 手机号暂停服务了交了话费还能用么(手机号暂停服务怎么办不能打电话能接电话)

    手机号暂停服务了交了话费还能用么(手机号暂停服务怎么办不能打电话能接电话)

  • 电脑窗口关闭不了(电脑窗口关闭不了,重启后还是关不了怎么回事)

    电脑窗口关闭不了(电脑窗口关闭不了,重启后还是关不了怎么回事)

  • 华为手机升级10.0很多软件用不了怎么办(华为手机升级10后卡二找不到)

    华为手机升级10.0很多软件用不了怎么办(华为手机升级10后卡二找不到)

  • 路由器换了房间没网怎么办(路由器换了房间需要重新设置吗)

    路由器换了房间没网怎么办(路由器换了房间需要重新设置吗)

  • oppo没有密码怎么还原手机(oppo没有密码怎么解开手机)

    oppo没有密码怎么还原手机(oppo没有密码怎么解开手机)

  • 电话响铃多久自动挂断(电话响铃多久自动挂断是什么意思)

    电话响铃多久自动挂断(电话响铃多久自动挂断是什么意思)

  • 小米手环4一天掉电多少(小米手环4一天能用几次)

    小米手环4一天掉电多少(小米手环4一天能用几次)

  • 手机摔了白屏怎么回事(手机摔白屏怎么回事)

    手机摔了白屏怎么回事(手机摔白屏怎么回事)

  • 手机qq收藏误删怎么恢复(手机qq收藏误删还能恢复吗)

    手机qq收藏误删怎么恢复(手机qq收藏误删还能恢复吗)

  • word选项卡编辑在哪(word设置选项卡)

    word选项卡编辑在哪(word设置选项卡)

  • 拼多多怎样取消拼单(拼多多怎样取消绑定的银行卡)

    拼多多怎样取消拼单(拼多多怎样取消绑定的银行卡)

  • 天猫精灵可以连接几个手机(天猫精灵可以连接电脑吗)

    天猫精灵可以连接几个手机(天猫精灵可以连接电脑吗)

  • 数据打开了还是没网络(为什么打开数据没有反应)

    数据打开了还是没网络(为什么打开数据没有反应)

  • Windows 10如何添加可靠多播协议(windows10如何添加英文输入法)

    Windows 10如何添加可靠多播协议(windows10如何添加英文输入法)

  • 学AutoSAR,敢不知道.arxml?(auto learn)

    学AutoSAR,敢不知道.arxml?(auto learn)

  • 【Android源码面试宝典】MMKV从使用到原理分析(二)(android界面源码)

    【Android源码面试宝典】MMKV从使用到原理分析(二)(android界面源码)

  • 流转税包括哪些税种2022
  • 简易征收预缴税款交错了
  • 季度申报利润表本月数怎么填
  • 电子发票限额多了怎么办
  • 发票冲红需要什么手续
  • 固定资产被盗报警
  • 报税时其他收入
  • 购入无形资产产生的咨询费
  • 研发样机是什么
  • 企业出口退税办理流程
  • 零申报的资产负债表不能为0
  • 减免所得税怎么算税率
  • 营改增的真实目的
  • 最近偷税女星都有谁
  • 研发支出与开发成本的区别
  • 工资薪金所得的个人所得税筹划方法
  • 公司账上收到职工的生育津贴如何做账?
  • 预付账款怎么做账
  • 企业接受非现金资产投资的账务处理
  • 加工费计入应付账款可以吗
  • 应收账款贷方余额怎么调平
  • 生产车间制造费用包括
  • win10系统如何注册dll文件
  • macos catalina安装很慢
  • 固定资产账面价值在什么情况下会出现负值
  • 去年未计提费用,今年付怎么做账
  • 员工工伤一次性赔偿会计分录
  • 员工重复报销后如何处理
  • 部门活动经费怎么算
  • 最高成本的手机是哪款
  • 微信php开发
  • 变分模态分解gnss
  • 在一株植物上行走的作文
  • imagestring php
  • 企业研发费用加计扣除最新政策
  • 微信小程序实现文件上传
  • php图像识别技术是什么
  • 增值税普通发票需要交税吗
  • 现金股利算负债吗
  • 小企业短期借款科目的贷方登记
  • 客户的赔偿金会计分录
  • 数论电子书下载
  • 三个数排序c语言程序从大到小
  • row number函数的使用场景
  • 会计报表编制基本要求
  • 主营业务收入借贷方
  • 电子承兑汇票兑现扣几个点
  • 上下班出车祸公司怎么赔偿
  • 保险公司代扣的车船使用税分录
  • 已开票未收款如何销往来账
  • 本年利润的会计分录
  • 登记账簿遇到的问题及解决
  • 党委经费是国家政府出吗?
  • 融资租赁的固定资产视为企业自有固定资产管理
  • 明细分类账有哪三种
  • SQLserver中cube:多维数据集实例详解
  • sqlserver中with(nolock)深入分析
  • mysql的分区表
  • 出现windows boot manager
  • unix系统的文件分为哪三种存取结构
  • win7旗舰版系统激活密钥
  • vmware centos8
  • linux安装sshpass
  • linux emac
  • myfastupdate.exe - myfastupdate是什么进程文件 有什么用
  • 32位系统的电脑可以连接打印机吗
  • win10预览版绿屏重启解决
  • wps linux版本是什么意思
  • js跨域8种解决方案
  • 分享五个有用的东西
  • 管道的实现
  • pcs可以使用什么在任何地方以各种速率与网络保持联络
  • unity3.
  • javascript定律
  • javascrapt
  • 广西职称申报系统入口220
  • 北京社保登记证怎么办
  • 冯炜教授现况如何
  • 西安市人力资源和社会保障局关于2020年
  • 湖北国税发票手机查询
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设