位置: IT常识 - 正文

一文看懂预训练和自训练模型(预训练的目的)

编辑:rootadmin
一文看懂预训练和自训练模型

推荐整理分享一文看懂预训练和自训练模型(预训练的目的),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:预训练过程,预训练和训练,如何进行预训练,预训练方法,预训练是什么,预训练和训练,预训练和训练,预训练方法,内容如对您有帮助,希望把文章链接给更多的朋友!

        说到预训练模型,不得不提迁移学习了,由于很多数据不是标签数据,人工标注非常耗时,神经网络在很多场景下受到了限制。但是迁移学习和自学习的出现,在一定程度上缓解甚至解决了这个问题。我们可以在标签丰富的场景下进行有监督的训练,或者在无标签的场景下,进行神经网络无监督的自学习,然后把训练出来的模型进行迁移学习,到标签很少的场景下,利用这种方式来解决领域标签数据少的问题。

        视觉任务往往具有一定的通用性,例如在某个分类任务数据集上训练的模型,在迁移到别的分类任务上时,只需要重新训练分类层以及对其他层权重进行微调便能获得不错的结果。所以在面对当前任务时,采用经过别的任务训练后的模型叫做预训练技术。预训练方法通常分为监督、半监督、无监督法。

一文看懂预训练和自训练模型(预训练的目的)

        最常用的监督预训练技术是:首先在带有标注的大型数据集上训练模型,之后将该模型当作预训练模型执行当前任务。例如在目标检测任务上通常会采用在Imagenet数据集上经过训练的模型当作特征提取网络。

        半监督方法的代表是自训练,其使用少量的标记数据和大量的未标记数据对模型进行联合训练。自训练可以分为5个步骤:

使用少量带有标签的数据训练模型使用步骤1中得到的模型对未标记数据进行预测,预测结果作为伪标签将标记数据和未标记数据结合标签和伪标签一起训练模型在测试集上评估模型重复1-4步,对模型迭代

        无监督方法在无标签的数据集上训练,通过对比损失、互信息最大化等方法获得对数据的通用表示。

        在当前任务中,绝大多数采用经过预训练方法的骨干网络通常会使结果得到提升。例如在目标检测任务中,通过监督法得到的预训练模型因为其稳定、简单、容易获取而成为多数目标检测的骨干网络模型。但谷歌最新的研究表明,在数据量足够的情况下,至少在目标检测任务上,采用自训练得到的预训练模型对检测结果的提升要显著优于监督预训练与无监督预训练模型。

        说白了,预训练模型就是提前训练好模型参数。有了预训练模型,我们就不需要再从0开始训练所有参数了,但是针对我们当前的这个任务,有些参数可能不合适,我们只需要在当前参数的基础上稍加修改(微调)就可以得到比较好的效果,这样学习时间必然会大大减小。

参考文章安全验证 - 知乎

本文链接地址:https://www.jiuchutong.com/zhishi/295852.html 转载请保留说明!

上一篇:vue多环境配置之 .env配置文件(vue环境搭建及配置简书)

下一篇:尚硅谷vue笔记 详细讲解版(尚硅谷 天禹老师)(尚硅谷docker笔记)

  • 个人所得税本期收入是扣完保险吗
  • 融资租赁的进项税可以抵扣吗
  • 个体工商户的报税流程
  • 去税局更正申报需要什么资料,忘记带营业执照
  • 计税工资和实发工资不一样所得税
  • 房产税是按不含税租金收入
  • 报废的机器设备怎么处理
  • 单位承担的社保费用计入什么科目
  • 营业外支出影响损益吗
  • 软件著作权费用怎么入账
  • 新个税法案专项扣除如何实施
  • 申请生育津贴需要提供什么材料
  • 银行的期初数据怎么进行账务处理?
  • 存货的主要内容包括什么
  • 注册资本金印花税减半征收
  • 土地增值税预缴税率
  • 为什么利润表的财务费用与利息费用逻辑不对
  • 公司员工体检计入什么科目
  • 小规模纳税人3%减按1%的账务处理
  • 关于免租金的法律规定
  • 哪些情况下工资不低于最低工资标准的80
  • 职业培训和职业技能培训的区别
  • 年金的缴费基数
  • 税控机减免会计分录
  • 客户购买产品的好处
  • 注册资本与注册资金的区别
  • 给别人代付
  • ami bios怎么设置u盘启动
  • 如何设置老板键
  • 企业购地流程
  • 王者荣耀中白起的台词
  • php数组函数面试题
  • 网页游戏无法打开
  • 广告费用计入什么会计科目
  • php制作数字验证码
  • php 文件系统
  • $ajax请求
  • 劳务派遣开具发票
  • 收回已核销的坏账并入账是什么意思
  • 除财政部门外,审计税务人民银行
  • 建筑行业预交增值税怎么结转
  • 未达起征点怎么填申报表
  • 公司股东投资在哪里查
  • 没有货怎么做电商
  • 政府补助确认递延所得税负债
  • 应交增值税转入未交增值税怎么算
  • 附加税减免计入什么科目
  • 志愿者服务活动有哪些内容
  • 房东减免部分房租
  • 制造费用怎么写
  • 装载机如何计提折旧费用
  • 本票包括哪些
  • 债权投资的交易费用计入成本还是利息调整
  • 关于小微企业免征印花税的规定
  • 资产负债表税务局能看到吗
  • 企业里面不征税的有哪些
  • 减值损失账务处理
  • 合作社开具免税发票流程
  • mysql的三种查询方式
  • win7端口怎么查看
  • win10搜索类型
  • 如何提高windows7运行速度
  • ubuntu更新软件
  • linux运维是必死之路
  • linux软件安装在哪个文件夹
  • Linux中QQ软件的安装和配置
  • icg是什么文件
  • 苹果手机
  • linux网络设备有哪些
  • 文科生也能看懂的电子电路学PDf
  • 新手学做ppt
  • node 加密解密
  • es6 new set()
  • javascript学习指南
  • python相关图片
  • js 工作流
  • 税务综合办公系统操作手册
  • 办理对外支付税务备案需要多久时间
  • 排污费属于什么费用科目
  • 内蒙古包头税务局客服电话
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设