位置: IT常识 - 正文

基于Pytorch实现的EcapaTdnn声纹识别模型(pytorch基础)

编辑:rootadmin
基于Pytorch实现的EcapaTdnn声纹识别模型 前言

推荐整理分享基于Pytorch实现的EcapaTdnn声纹识别模型(pytorch基础),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pytorch教程,pytorch基础,pytorch csdn,pytorch csdn,pytorch functional,pytorch csdn,pytorch 简单例子,pytorch例程,内容如对您有帮助,希望把文章链接给更多的朋友!

本项目使用了EcapaTdnn模型实现的声纹识别,不排除以后会支持更多模型,同时本项目也支持了多种数据预处理方法,损失函数参考了人脸识别项目的做法PaddlePaddle-MobileFaceNets ,使用了ArcFace Loss,ArcFace loss:Additive Angular Margin Loss(加性角度间隔损失函数),对特征向量和权重归一化,对θ加上角度间隔m,角度间隔比余弦间隔在对角度的影响更加直接。

源码地址:VoiceprintRecognition-Pytorch(V1)

使用环境:

Python 3.7PaddlePaddle 1.10.2模型下载模型预处理方法数据集类别数量分类准确率两两对比准确率模型下载地址EcapaTdnnmelspectrogram中文语音语料数据集32420.96820.99982点击下载EcapaTdnnspectrogram中文语音语料数据集32420.96900.99982点击下载EcapaTdnnmelspectrogram更大的数据集63550.91660.99991点击下载EcapaTdnnspectrogram更大的数据集63550.91540.99990点击下载EcapaTdnnmelspectrogram超大的数据集137180.91790.99995点击下载EcapaTdnnspectrogram超大的数据集137180.93440.99995点击下载安装环境安装Pytorch的GPU版本,如果已经安装过Pytorch,无需再次安装。pip install torch==1.10.2安装其他依赖库,命令如下,注意librosa的版本是0.9.1,旧版本的梅尔频谱计算方式不一样。pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

注意: libsora和pyaudio安装出错解决办法

创建数据

本教程笔者使用的是中文语音语料数据集 ,这个数据集一共有3242个人的语音数据,有1130000+条语音数据,下载之前要全部解压数据集。如果读者有其他更好的数据集,可以混合在一起使用,但最好是要用python的工具模块aukit处理音频,降噪和去除静音。

首先是创建一个数据列表,数据列表的格式为<语音文件路径\t语音分类标签>,创建这个列表主要是方便之后的读取,也是方便读取使用其他的语音数据集,语音分类标签是指说话人的唯一ID,不同的语音数据集,可以通过编写对应的生成数据列表的函数,把这些数据集都写在同一个数据列表中。

在create_data.py写下以下代码,因为中文语音语料数据集 这个数据集是mp3格式的,作者发现这种格式读取速度很慢,所以笔者把全部的mp3格式的音频转换为wav格式,在创建数据列表之后,可能有些数据的是错误的,所以我们要检查一下,将错误的数据删除。执行下面程序完成数据准备。

python create_data.py基于Pytorch实现的EcapaTdnn声纹识别模型(pytorch基础)

执行上面的程序之后,会生成以下的数据格式,如果要自定义数据,参考如下数据列表,前面是音频的相对路径,后面的是该音频对应的说话人的标签,就跟分类一样。

dataset/zhvoice/zhmagicdata/5_895/5_895_20170614203758.wav3238dataset/zhvoice/zhmagicdata/5_895/5_895_20170614214007.wav3238dataset/zhvoice/zhmagicdata/5_941/5_941_20170613151344.wav3239dataset/zhvoice/zhmagicdata/5_941/5_941_20170614221329.wav3239dataset/zhvoice/zhmagicdata/5_941/5_941_20170616153308.wav3239dataset/zhvoice/zhmagicdata/5_968/5_968_20170614162657.wav3240dataset/zhvoice/zhmagicdata/5_968/5_968_20170622194003.wav3240dataset/zhvoice/zhmagicdata/5_968/5_968_20170707200554.wav3240dataset/zhvoice/zhmagicdata/5_970/5_970_20170616000122.wav3241训练模型

使用train.py训练模型,本项目支持多个音频预处理方式,通过参数feature_method可以指定,melspectrogram为梅尔频谱,spectrogram为声谱图。通过参数augment_conf_path可以指定数据增强方式。训练过程中,会使用VisualDL保存训练日志,通过启动VisualDL可以随时查看训练结果,启动命令visualdl --logdir=log --host 0.0.0.0

# 单卡训练python train.py# 多卡训练python train.py --gpus=0,1

训练输出日志:

----------- Configuration Arguments -----------augment_conf_path: configs/augment.ymlbatch_size: 64feature_method: melspectrogramgpus: 0learning_rate: 0.001num_epoch: 30num_speakers: 3242num_workers: 4pretrained_model: Noneresume: Nonesave_model_dir: models/test_list_path: dataset/test_list.txttrain_list_path: dataset/train_list.txtuse_model: ecapa_tdnn------------------------------------------------······[2022-04-24 09:25:10.481272] Train epoch [0/30], batch: [7500/8290], loss: 9.03724, accuracy: 0.33252, lr: 0.00100000, eta: 14:58:26[2022-04-24 09:25:32.909873] Train epoch [0/30], batch: [7600/8290], loss: 9.00004, accuracy: 0.33600, lr: 0.00100000, eta: 15:09:07[2022-04-24 09:25:55.321806] Train epoch [0/30], batch: [7700/8290], loss: 8.96284, accuracy: 0.33950, lr: 0.00100000, eta: 15:13:13[2022-04-24 09:26:17.836304] Train epoch [0/30], batch: [7800/8290], loss: 8.92626, accuracy: 0.34294, lr: 0.00100000, eta: 14:57:15[2022-04-24 09:26:40.306800] Train epoch [0/30], batch: [7900/8290], loss: 8.88968, accuracy: 0.34638, lr: 0.00100000, eta: 14:51:06[2022-04-24 09:27:02.778450] Train epoch [0/30], batch: [8000/8290], loss: 8.85430, accuracy: 0.34964, lr: 0.00100000, eta: 15:00:36[2022-04-24 09:27:25.240278] Train epoch [0/30], batch: [8100/8290], loss: 8.81858, accuracy: 0.35294, lr: 0.00100000, eta: 14:51:58[2022-04-24 09:27:47.690570] Train epoch [0/30], batch: [8200/8290], loss: 8.78368, accuracy: 0.35630, lr: 0.00100000, eta: 14:55:41======================================================================[2022-04-24 09:28:12.084404] Test 0, accuracy: 0.76057 time: 0:00:04======================================================================[2022-04-24 09:28:12.909394] Train epoch [1/30], batch: [0/8290], loss: 5.83753, accuracy: 0.68750, lr: 0.00099453, eta: 2 days, 3:47:48[2022-04-24 09:28:35.346418] Train epoch [1/30], batch: [100/8290], loss: 5.80430, accuracy: 0.64527, lr: 0.00099453, eta: 15:00:01[2022-04-24 09:28:57.873686] Train epoch [1/30], batch: [200/8290], loss: 5.78946, accuracy: 0.64218, lr: 0.00099453, eta: 14:46:39······

VisualDL页面:

数据增强

本项目提供了几种音频增强操作,分布是随机裁剪,添加背景噪声,调节语速,调节音量,和SpecAugment。其中后面4种增加的参数可以在configs/augment.yml修改,参数prob是指定该增强操作的概率,如果不想使用该增强方式,可以设置为0。要主要的是,添加背景噪声需要把多个噪声音频文件存放在dataset/noise,否则会跳过噪声增强

noise: min_snr_dB: 10 max_snr_dB: 30 noise_path: "dataset/noise" prob: 0.5评估模型

训练结束之后会保存预测模型,我们用预测模型来预测测试集中的音频特征,然后使用音频特征进行两两对比,阈值从0到1,步长为0.01进行控制,找到最佳的阈值并计算准确率。

python eval.py

输出类似如下:

----------- Configuration Arguments -----------feature_method: melspectrogramlist_path: dataset/test_list.txtnum_speakers: 3242resume: models/use_model: ecapa_tdnn------------------------------------------------W0425 08:27:32.057426 17654 device_context.cc:447] Please NOTE: device: 0, GPU Compute Capability: 7.5, Driver API Version: 11.6, Runtime API Version: 10.2W0425 08:27:32.065165 17654 device_context.cc:465] device: 0, cuDNN Version: 7.6.成功加载模型参数和优化方法参数:models/ecapa_tdnn/model.pdparams开始提取全部的音频特征...167it [00:15, 10.70it/s]分类准确率为:0.9608开始两两对比音频特征...100%|███████████████████████████| 5332/5332 [00:05<00:00, 1027.83it/s]找出最优的阈值和对应的准确率...100%|███████████████████████████| 100/100 [00:06<00:00, 16.54it/s]当阈值为0.58, 两两对比准确率最大,准确率为:0.99980声纹对比

下面开始实现声纹对比,创建infer_contrast.py程序,编写infer()函数,在编写模型的时候,模型是有两个输出的,第一个是模型的分类输出,第二个是音频特征输出。所以在这里要输出的是音频的特征值,有了音频的特征值就可以做声纹识别了。我们输入两个语音,通过预测函数获取他们的特征数据,使用这个特征数据可以求他们的对角余弦值,得到的结果可以作为他们相识度。对于这个相识度的阈值threshold,读者可以根据自己项目的准确度要求进行修改。

python infer_contrast.py --audio_path1=audio/a_1.wav --audio_path2=audio/b_2.wav

输出类似如下:

----------- Configuration Arguments -----------audio_path1: audio/a_1.wavaudio_path2: audio/b_2.wavfeature_method: melspectrogramresume: models/threshold: 0.5use_model: ecapa_tdnn------------------------------------------------W0425 08:29:10.006249 21121 device_context.cc:447] Please NOTE: device: 0, GPU Compute Capability: 7.5, Driver API Version: 11.6, Runtime API Version: 10.2W0425 08:29:10.008555 21121 device_context.cc:465] device: 0, cuDNN Version: 7.6.成功加载模型参数和优化方法参数:models/ecapa_tdnn/model.pdparamsaudio/a_1.wav 和 audio/b_2.wav 不是同一个人,相似度为:-0.09565544128417969声纹识别

在上面的声纹对比的基础上,我们创建infer_recognition.py实现声纹识别。同样是使用上面声纹对比的infer()预测函数,通过这两个同样获取语音的特征数据。 不同的是笔者增加了load_audio_db()和register(),以及recognition(),第一个函数是加载声纹库中的语音数据,这些音频就是相当于已经注册的用户,他们注册的语音数据会存放在这里,如果有用户需要通过声纹登录,就需要拿到用户的语音和语音库中的语音进行声纹对比,如果对比成功,那就相当于登录成功并且获取用户注册时的信息数据。第二个函数register()其实就是把录音保存在声纹库中,同时获取该音频的特征添加到待对比的数据特征中。最后recognition()函数中,这个函数就是将输入的语音和语音库中的语音一一对比。 有了上面的声纹识别的函数,读者可以根据自己项目的需求完成声纹识别的方式,例如笔者下面提供的是通过录音来完成声纹识别。首先必须要加载语音库中的语音,语音库文件夹为audio_db,然后用户回车后录音3秒钟,然后程序会自动录音,并使用录音到的音频进行声纹识别,去匹配语音库中的语音,获取用户的信息。通过这样方式,读者也可以修改成通过服务请求的方式完成声纹识别,例如提供一个API供APP调用,用户在APP上通过声纹登录时,把录音到的语音发送到后端完成声纹识别,再把结果返回给APP,前提是用户已经使用语音注册,并成功把语音数据存放在audio_db文件夹中。

python infer_recognition.py

输出类似如下:

----------- Configuration Arguments -----------audio_db: audio_dbfeature_method: melspectrogramresume: models/threshold: 0.5use_model: ecapa_tdnn------------------------------------------------W0425 08:30:13.257884 23889 device_context.cc:447] Please NOTE: device: 0, GPU Compute Capability: 7.5, Driver API Version: 11.6, Runtime API Version: 10.2W0425 08:30:13.260191 23889 device_context.cc:465] device: 0, cuDNN Version: 7.6.成功加载模型参数和优化方法参数:models/ecapa_tdnn/model.pdparamsLoaded 沙瑞金 audio.Loaded 李达康 audio.请选择功能,0为注册音频到声纹库,1为执行声纹识别:0按下回车键开机录音,录音3秒中:开始录音......录音已结束!请输入该音频用户的名称:夜雨飘零请选择功能,0为注册音频到声纹库,1为执行声纹识别:1按下回车键开机录音,录音3秒中:开始录音......录音已结束!识别说话的为:夜雨飘零,相似度为:0.920434其他版本Tensorflow:VoiceprintRecognition-TensorflowPaddlePaddle:VoiceprintRecognition-PaddlePaddleKeras:VoiceprintRecognition-Keras参考资料https://github.com/PaddlePaddle/PaddleSpeechhttps://github.com/yeyupiaoling/PaddlePaddle-MobileFaceNetshttps://github.com/yeyupiaoling/PPASR
本文链接地址:https://www.jiuchutong.com/zhishi/292944.html 转载请保留说明!

上一篇:高德地图 API,点击地图标记获取自定义标记 (Marker) 中的信息(高德地图api是什么意思)

下一篇:塔霍河上空的银河,西班牙蒙弗拉圭国家公园 (© Miguel Angel Muñoz Ruiz/Cavan Images)(塔河流域)

  • 个体工商户一直没办税务登记证
  • 增值税发票能不能报销
  • 个税返还手续费奖励员工需要交个税吗
  • 个人所得税退的多好还是少好
  • 收入用结转吗
  • 视同销售的销售额如何确定
  • 管理费用预测
  • 房地产开发企业的土地使用权计入哪里
  • 滴滴出行发票可以抵扣进项税吗
  • 从事演出业务取得的收入
  • 收益法评估的基本思路
  • 机动车发票红冲可以作废吗
  • 留底税款
  • 应交城市维护建设税分录怎么做
  • 个人所得税核定征收计算公式
  • 外地建安个人所得税标准
  • 银行和保险公司归哪个部门管
  • 外地预缴个人所得税如何入账及申报
  • 公司为职工购买社保只购买三险可以吗
  • 没有实缴的公司法人风险大吗
  • 制造费用如何分摊到产品的成本
  • 社保缴费申报表文件
  • 设备改造时各项支出的会计处理?
  • 持有至到期投资是什么意思
  • netframework4.8安装未成功
  • win7为什么不能安装软件
  • 主营业务成本净额计算公式
  • win11文件类型怎么改
  • 支付宝花呗服务费收费标准
  • 电脑显卡排行榜
  • 公司党员活动日方案
  • 公司处于亏损状态,股东要退股怎么办
  • uniapp引入bootstrap
  • 哪些项目容易漏缴个人所得税?
  • 购买净资产为负的资产
  • 带息票据和不带息票据区别
  • 网络技术公司技能培训
  • wordpress静态分离
  • shift命令 向左移动参数
  • 金融企业贷款损失
  • php添加背景怎么实现
  • 报表按季度报是什么意思
  • 用于研发的材料后期销售了应该怎么账务处理
  • python合并集合
  • c语言strncat函数用法
  • access2010宏操作大全
  • mongodb数据库的作用
  • 外经证开错作废要带些什么
  • 现金折扣如何核算
  • 增值税零税率和免税的范围
  • 固定资产降低
  • sqlserver2008数据库文件路径
  • 委托代理进口账务处理
  • 补缴以前年度的增值税以及附加税,还有罚款的账务处理
  • 递延收益与递延负债的区别
  • 一般情况下银行加权平均成本的变化主要取决于什么因素
  • 成本结转怎么做分录
  • 计提社保公积金个税会计分录
  • 其他应收款为负数正常吗
  • 存货出售,资产减值损失如何处理
  • 营业外收入是否影响营业利润
  • 个人取得的劳务报酬需要交增值税吗
  • 发票抬头注意事项
  • 事业单位的非税收入账务处理
  • mysql误操作数据恢复
  • windows7 ip地址冲突
  • winmysqladmin.exe - winmysqladmin进程是什么意思
  • icg是什么文件
  • 多个网页怎么从一个网页中显示
  • win7旗舰版虚拟光驱下载
  • 你可能不知道的中融新大
  • Immutable 在 JavaScript 中的应用
  • android属性动画
  • 笔记本等待网络准备好
  • linux安装oracle数据库步骤
  • 批处理安装
  • unity字符串
  • jquery的checkbox,radio,select等方法小结
  • 长沙税务查询电话
  • 湖南 资源税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设