位置: IT常识 - 正文

bert-bilstm-crf提升NER模型效果的方法(bert数据增强)

编辑:rootadmin
bert-bilstm-crf提升NER模型效果的方法 1.统一训练监控指标和评估指标

推荐整理分享bert-bilstm-crf提升NER模型效果的方法(bert数据增强),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:bert调优,bert+crf,bert crf,bert 增量训练,bert+bilstm+crf,bert+lstm+crf,bert+crf,bert+crf,内容如对您有帮助,希望把文章链接给更多的朋友!

评估一个模型的最佳指标是在实体级别计算它的F1值,而不是token级别计算它的的准确率。自定义一个f1值的训练监控指标传给回调函数

Preliminary

TP:实际为P,预测为P

TN:实际为N,预测为N

FP:实际为N,预测为P

FN:实际为P,预测为N

如何记忆:

TP/TN: 以T开头,表明预测正确,预测即为第二个字母

FP/FN: 以F开头,表明预测错误,预测与第二个字母相反

Accuracy

最简单也是最好理解的,也是我们很早就开始接触的一个指标就是准确率,即预测正确的样本除以总样本数

Recall, Precision, F1

Recall(召回率):预测正确的正类在正类样本中的比例(针对于样本真实情况)

Precision(精确率):预测正确的正类在预测为正类中的比例(针对于预测情况)

F1:两者通常难以兼得,因此引入两者的调和平均,来得到一个trade-off的值

2、学习率衰减策略

学习率是深度学习中的一个重要的超参,如何调整学习率是训练出好模型的关键要素之一。

在训练过程中,一般根据训练轮数设置动态变化的学习率。

刚开始训练时:学习率以 0.01 ~ 0.001 为宜。

一定轮数过后:逐渐减缓。

接近训练结束:学习速率的衰减应该在 100 倍以上。

两种学习率衰减模式,一种为线性衰减,一种为指数衰减。

如果学习率过小,梯度下降很慢,如果学习率过大,如 Andrew Ng 的 Stanford 公开课程所说梯度下降的步子过大可能会跨过最优值。不同的学习率对 loss 的影响如下图所示:

3、分层设置学习率,非bert层要大

在使用bert或者其它预训练模型进行微调,下接其它具体任务相关的模块时,会面临这样一个问题,bert由于已经进行了预训练,参数已经达到了一个较好的水平,如果要保持其不会降低,学习率就不能太大,而下接结构是从零开始训练,用小的学习率训练不仅学习慢,而且也很难与BERT本体训练同步。因此在训练时候就需要对预训练层设置较小学习率,对下接层设置较大学习率。

4、使用对抗训练提升模型鲁棒性

对抗训练是一种能有效提高模型鲁棒性和泛化能力的训练手段,其基本原理是通过在原始输入上增加对抗扰动(噪声),得到对抗样本,再利用对抗样本进行训练,从而提高模型的表现。

5、更精细化的调参

调整learning_rate or batch_size or lamb等等

实验数据记录

#

模型

超参数

实验结果

备注

1

bilstm+crf

lstm_units = 64

epochs =80

batch_size = 32

drop_rate = 0.2

f1=0.6075

2

bilstm+crf

lstm_units = 128

epochs = 80

batch_size = 32

drop_rate = 0.2

f1=0.6011

3

bert+bilstm+crf

epochs = 8

max_len = 80

batch_size = 32

lstm_units = 128

drop_rate = 0.1

leraning_rate = 1e-5

f1=0.6697

4

bert+bilstm+crf

epochs = 32

max_len = 150

batch_size = 16

lstm_units = 128

drop_rate = 0.1

bert-bilstm-crf提升NER模型效果的方法(bert数据增强)

leraning_rate = 1e-5

f1=0.7262

5

bert+bilstm+crf

epochs = 32

max_len = 150

batch_size = 16

lstm_units = 128

drop_rate = 0.1

leraning_rate = 1e-5

f1=0.6745

统一训练监控指标和评估指标

增加学习率衰减策略

6

bert+bilstm+crf

epochs = 32

max_len = 150

batch_size = 16

lstm_units = 128

drop_rate = 0.1

leraning_rate = 1e-5

f1=0.7159

分层次设置学习率

lr_multiplier=500

7

bert+bilstm+crf

epochs = 32

max_len = 150

batch_size = 16

lstm_units = 128

drop_rate = 0.1

leraning_rate = 1e-5

f1=0.6889

分层次设置学习率

lr_multiplier=500

增加对抗训练(噪声)

8

bert+bilstm+crf

epochs = 32

max_len = 150

batch_size = 16

lstm_units = 128

drop_rate = 0.1

leraning_rate = 1e-5

f1=0.6828

统一训练监控指标和评估指标

增加学习率衰减策略

分层次设置学习率

lr_multiplier=500

增加对抗训练(噪声)

5

bert+bilstm+crf

epochs = 16

max_len = 150

batch_size = 16

lstm_units = 128

drop_rate = 0.1

leraning_rate = 1e-5

f1=0.7201

统一训练监控指标和评估指标

5

本文链接地址:https://www.jiuchutong.com/zhishi/300671.html 转载请保留说明!

上一篇:ES6笔记————let,箭头函数,剩余参数(es6从入门到实战)

下一篇:【C语言进阶】文本与二进制操作文件,优化通讯录。(c语音进阶)

  • tim怎么点赞(timing点赞的在哪里找)

    tim怎么点赞(timing点赞的在哪里找)

  • wps怎么把带公式的复制过去(wps怎么带公式复制)

    wps怎么把带公式的复制过去(wps怎么带公式复制)

  • 淘宝提问在哪看(淘宝提问在哪看历史记录)

    淘宝提问在哪看(淘宝提问在哪看历史记录)

  • 小米手机怎么设置闹钟(小米手机怎么设置流量上限?)

    小米手机怎么设置闹钟(小米手机怎么设置流量上限?)

  • ar人工智能模型训练一般采用什么计算机(基于人工智能的ar vr 应用开发)

    ar人工智能模型训练一般采用什么计算机(基于人工智能的ar vr 应用开发)

  • ie浏览器是电脑自带的嘛(ie浏览器是电脑自带的还是后装上去的)

    ie浏览器是电脑自带的嘛(ie浏览器是电脑自带的还是后装上去的)

  • 小米盒子恢复出厂设置后还是卡在开机画面(小米盒子恢复出厂设置后进不了桌面)

    小米盒子恢复出厂设置后还是卡在开机画面(小米盒子恢复出厂设置后进不了桌面)

  • 用户被锁定是什么意思(用户也被锁定)

    用户被锁定是什么意思(用户也被锁定)

  • 微信怎么使用人脸登录(微信怎么使用人脸识别登录)

    微信怎么使用人脸登录(微信怎么使用人脸识别登录)

  • 苹果手表5充电要充多久(苹果手表5充电线给7代充有快充么)

    苹果手表5充电要充多久(苹果手表5充电线给7代充有快充么)

  • 华为mate30pro微信视频没有美颜功能吗(华为mate30pro微信怎么分身)

    华为mate30pro微信视频没有美颜功能吗(华为mate30pro微信怎么分身)

  • 淘宝账号注销多久生效(淘宝账号注销多久可以成功申请)

    淘宝账号注销多久生效(淘宝账号注销多久可以成功申请)

  • win7连上无线网络但不能上网(win7连上无线网不能上网)

    win7连上无线网络但不能上网(win7连上无线网不能上网)

  • 华为手机被定位后有显示吗(华为手机被定位会有提示吗)

    华为手机被定位后有显示吗(华为手机被定位会有提示吗)

  • 苹果手机bs机是什么意思(苹果手机bs机是正品吗)

    苹果手机bs机是什么意思(苹果手机bs机是正品吗)

  • 手机怎么取消超级会员(手机怎么取消超级QQ业务)

    手机怎么取消超级会员(手机怎么取消超级QQ业务)

  • 手机卡不用了不注销会怎样(手机卡不用了不注销会怎么样)

    手机卡不用了不注销会怎样(手机卡不用了不注销会怎么样)

  • 怎样在电脑上给微信升级(怎样在电脑上给u盘杀毒)

    怎样在电脑上给微信升级(怎样在电脑上给u盘杀毒)

  • 电脑运行怎么打开(电脑运行怎么打开浏览器)

    电脑运行怎么打开(电脑运行怎么打开浏览器)

  • 大疆无人机飞控序号在哪里(大疆无人机飞控系统)

    大疆无人机飞控序号在哪里(大疆无人机飞控系统)

  • vivox27pro支持nfc吗(vivoX27Pro支持车载joviincar吗)

    vivox27pro支持nfc吗(vivoX27Pro支持车载joviincar吗)

  • 962464用九键打出来是什么意思

    962464用九键打出来是什么意思

  • 抖音如何卖自己商品(抖音如何卖自己的货和挂车)

    抖音如何卖自己商品(抖音如何卖自己的货和挂车)

  • 新版Edge浏览器开启“自动沉浸式阅读器”功能(新版edge浏览器如何恢复设置)

    新版Edge浏览器开启“自动沉浸式阅读器”功能(新版edge浏览器如何恢复设置)

  • Linux中禁止root用户SSH登录及修改SSH端口的方法(linux不允许root登录)

    Linux中禁止root用户SSH登录及修改SSH端口的方法(linux不允许root登录)

  • 斯诺多尼亚国家公园多尔威泽兰城堡,英国威尔士康威 (© Sebastian Wasek/Sime/eStock Photo)(斯诺多尼亚山)

    斯诺多尼亚国家公园多尔威泽兰城堡,英国威尔士康威 (© Sebastian Wasek/Sime/eStock Photo)(斯诺多尼亚山)

  • 土地增值税的计算方法公式
  • 企业所得税汇算清缴账务处理
  • 新公司三个月没有录入职员
  • 计提工资是计提哪个月的
  • 等线补交以前年度附加税会计分录
  • 以前年度损益调整在借方是什么意思
  • 纳税申报表上的二维码有什么用?
  • 新会计准则土地使用权摊销处理
  • 地下建筑房产税减免优惠政策
  • 货物所有权转移制度研究
  • 企业赞助学校发言稿
  • 固定资产的资本化后续支出
  • 公司往来款现金流量表
  • 负数发票需要抵扣吗
  • 取得稳岗补贴后怎么办
  • 应收利息和应计利息有什么不同
  • 计提个人保险会计分录
  • 工会财务总结报告
  • 福利费开成增值税专用发票怎么办
  • 物流公司怎么进去工作的
  • 福利费进行税额转出
  • 一般纳税人出租不动产
  • 登陆对话框不能输入
  • 移动网速测试软件
  • 信息化生产力是指什么
  • 怎么证明公司的存在
  • 出售提完折旧的固定资产怎么记账
  • PHP:xml_get_current_byte_index()的用法_XML解析器函数
  • 发出材料成本差异会计分录
  • linux添加系统用户命令
  • 进项抵扣发票如何查询
  • php的file函数
  • 无偿划转长期股权投资
  • 水獭冬眠吗?
  • php构造函数重载
  • vue生命周期图解
  • js let用法
  • 用php写个简单的编程
  • js去除属性
  • 绿化苗木抵扣税是多少
  • 公司的银行账号是不是和个人账号不一样
  • 房地产开发企业的了解概述
  • 一般纳税人不抵扣怎样交税
  • 手续费及佣金支出核算
  • 工厂道路设计规范
  • 查询不到shsh怎么回事
  • 哪些企业不能核算成本
  • 资产负债表的其他应收款怎么算出来的
  • 进口退货退税
  • 增值税附加税的税收优惠政策
  • 机械设备预付款比例
  • 事业单位会计怎么做
  • 违约方缴纳的履约金
  • 收到实收资本会计摘要
  • 哪个行业的会计最难
  • innodb.trx
  • mysql5.7.35安装配置教程
  • win8/10whql
  • win8不好吗
  • Win10 Mobile 10549中Cortana电池消耗很大该怎么办?
  • mac os操作教程
  • win7系统如何更改默认浏览器
  • 怎么看win8.1的版本
  • P2P Networking2.exe - P2P Networking2是什么进程 有什么用
  • window10如何解除密码
  • Android自定义控件,切换APP再切回来控件消失了
  • JavaScript Math.ceil() 函数使用介绍
  • js 浏览器全屏
  • 使用筷子就餐会不会传染乙肝病毒
  • Button.setOnClickListener(OnClickListener l) 原理
  • [置顶]JM259194
  • javascript新手教程
  • 谷歌的全球化发展战略
  • css实现无缝滚动
  • jQuery.Callbacks()回调函数队列用法详解
  • 国家税务总局定额发票查验平台官网
  • 从国外进口设备需要缴纳增值税吗
  • 手写发票属于增值税普通发票吗
  • 百旺税控盘怎么清卡成功
  • 福建生育登记证明电子版在哪查
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设