位置: IT常识 - 正文

一文看懂预训练和自训练模型(预训练的目的)

编辑:rootadmin
一文看懂预训练和自训练模型

推荐整理分享一文看懂预训练和自训练模型(预训练的目的),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:预训练过程,预训练和训练,如何进行预训练,预训练方法,预训练是什么,预训练和训练,预训练和训练,预训练方法,内容如对您有帮助,希望把文章链接给更多的朋友!

        说到预训练模型,不得不提迁移学习了,由于很多数据不是标签数据,人工标注非常耗时,神经网络在很多场景下受到了限制。但是迁移学习和自学习的出现,在一定程度上缓解甚至解决了这个问题。我们可以在标签丰富的场景下进行有监督的训练,或者在无标签的场景下,进行神经网络无监督的自学习,然后把训练出来的模型进行迁移学习,到标签很少的场景下,利用这种方式来解决领域标签数据少的问题。

        视觉任务往往具有一定的通用性,例如在某个分类任务数据集上训练的模型,在迁移到别的分类任务上时,只需要重新训练分类层以及对其他层权重进行微调便能获得不错的结果。所以在面对当前任务时,采用经过别的任务训练后的模型叫做预训练技术。预训练方法通常分为监督、半监督、无监督法。

一文看懂预训练和自训练模型(预训练的目的)

        最常用的监督预训练技术是:首先在带有标注的大型数据集上训练模型,之后将该模型当作预训练模型执行当前任务。例如在目标检测任务上通常会采用在Imagenet数据集上经过训练的模型当作特征提取网络。

        半监督方法的代表是自训练,其使用少量的标记数据和大量的未标记数据对模型进行联合训练。自训练可以分为5个步骤:

使用少量带有标签的数据训练模型使用步骤1中得到的模型对未标记数据进行预测,预测结果作为伪标签将标记数据和未标记数据结合标签和伪标签一起训练模型在测试集上评估模型重复1-4步,对模型迭代

        无监督方法在无标签的数据集上训练,通过对比损失、互信息最大化等方法获得对数据的通用表示。

        在当前任务中,绝大多数采用经过预训练方法的骨干网络通常会使结果得到提升。例如在目标检测任务中,通过监督法得到的预训练模型因为其稳定、简单、容易获取而成为多数目标检测的骨干网络模型。但谷歌最新的研究表明,在数据量足够的情况下,至少在目标检测任务上,采用自训练得到的预训练模型对检测结果的提升要显著优于监督预训练与无监督预训练模型。

        说白了,预训练模型就是提前训练好模型参数。有了预训练模型,我们就不需要再从0开始训练所有参数了,但是针对我们当前的这个任务,有些参数可能不合适,我们只需要在当前参数的基础上稍加修改(微调)就可以得到比较好的效果,这样学习时间必然会大大减小。

参考文章安全验证 - 知乎

本文链接地址:https://www.jiuchutong.com/zhishi/295852.html 转载请保留说明!

上一篇:vue多环境配置之 .env配置文件(vue环境搭建及配置简书)

下一篇:尚硅谷vue笔记 详细讲解版(尚硅谷 天禹老师)(尚硅谷docker笔记)

  • 荣耀magic3怎么设置省电(荣耀magic3怎么设置桌面时间和天气)

    荣耀magic3怎么设置省电(荣耀magic3怎么设置桌面时间和天气)

  • 华为怎么改微信图标(华为怎么改微信铃声)

    华为怎么改微信图标(华为怎么改微信铃声)

  • 手机屏幕校准在哪个功能里面(手机屏幕校准在哪个功手机屏幕自修能里面)

    手机屏幕校准在哪个功能里面(手机屏幕校准在哪个功手机屏幕自修能里面)

  • 为什么苹果8p连接wifi成功后没有显示(为什么苹果8p连不上有线蓝牙耳机)

    为什么苹果8p连接wifi成功后没有显示(为什么苹果8p连不上有线蓝牙耳机)

  • 苹果手机慢如何清理(iphone手机反应慢怎么解决)

    苹果手机慢如何清理(iphone手机反应慢怎么解决)

  • 升级miui12会清除数据吗(升级miui12后还能退回去吗)

    升级miui12会清除数据吗(升级miui12后还能退回去吗)

  • 苹果降级会删掉所有东西吗(苹果降级会删掉照片吗)

    苹果降级会删掉所有东西吗(苹果降级会删掉照片吗)

  • vivox30与vivos6对比(vivox30和s6哪个性价比高)

    vivox30与vivos6对比(vivox30和s6哪个性价比高)

  • hd7800相当于gtx多少

    hd7800相当于gtx多少

  • 电脑上的复制键是哪个(电脑上复制粘贴按什么键)

    电脑上的复制键是哪个(电脑上复制粘贴按什么键)

  • 苹果8p来电的时候闪光灯在哪里开(苹果8p来电的时钟怎么调)

    苹果8p来电的时候闪光灯在哪里开(苹果8p来电的时钟怎么调)

  • 爱奇艺购买的电影几天(爱奇艺购买的电影可以下载吗)

    爱奇艺购买的电影几天(爱奇艺购买的电影可以下载吗)

  • cha fan是什么接口(cha_fan1什么意思)

    cha fan是什么接口(cha_fan1什么意思)

  • oppo手机隐私密码忘记了怎么办(oppo手机隐私密码的原始密码)

    oppo手机隐私密码忘记了怎么办(oppo手机隐私密码的原始密码)

  • 惠头条注册后怎么注销(惠头条官网注册)

    惠头条注册后怎么注销(惠头条官网注册)

  • wps文字如何导出目录(wps怎么导出docx)

    wps文字如何导出目录(wps怎么导出docx)

  • 华为no va5pro怎么截屏(华为nova5pro怎么恢复出厂设置)

    华为no va5pro怎么截屏(华为nova5pro怎么恢复出厂设置)

  • 手机纳米膜怎么卸下来(手机纳米膜到底有没有用)

    手机纳米膜怎么卸下来(手机纳米膜到底有没有用)

  • 苹果飞行模式旁边的是什么(苹果飞行模式旁边是什么标志)

    苹果飞行模式旁边的是什么(苹果飞行模式旁边是什么标志)

  • 照片上的皱纹怎么去掉(照片的皱纹怎么去除)

    照片上的皱纹怎么去掉(照片的皱纹怎么去除)

  • 抖音资料学校怎么取消(抖音资料学校怎么设置社会大学)

    抖音资料学校怎么取消(抖音资料学校怎么设置社会大学)

  • 右下角wifi图标不见了(右下角wifi图标点不开)

    右下角wifi图标不见了(右下角wifi图标点不开)

  • 怎么去图片水印(wps怎么去图片水印)

    怎么去图片水印(wps怎么去图片水印)

  • iphone上市时间(iphone上市时间顺序)

    iphone上市时间(iphone上市时间顺序)

  • ChatGPT中文版重装上阵(chatbot下载)

    ChatGPT中文版重装上阵(chatbot下载)

  • 阴影进阶,实现更加的立体的阴影效果!(阴影等级是什么)

    阴影进阶,实现更加的立体的阴影效果!(阴影等级是什么)

  • 每月计提什么费用
  • 增值税发票进销项不一致
  • 运输公司税率和税种
  • 大盛房地产中介公司
  • 受托加工开票如何选名称
  • 计提固定资产折旧会计凭证
  • 金蝶怎么冲减之前的费用
  • 支付短期借款利息的会计科目
  • 年报会计师审计费用
  • 非营利组织缴纳社保
  • 企业内部转账应注意什么
  • 长期股权投资减值准备可以转回吗
  • 向其他单位无偿提供服务的不需缴纳增值税
  • 无发票材料可以入材料账吗
  • 建筑企业包工包料的税率
  • 收到工程施工进度款如何记账
  • 单位出租厂房如何开票
  • 赠送给客户
  • 工业企业小规模纳税人的认定标准
  • 年薪12万如何申报个人所得税
  • 杜邦分析法的三个核心是什么
  • 经营租赁交什么税种
  • 公司向个人购买服务
  • 如何设置电脑关机时清理使用痕迹
  • window10过期
  • 上个月多计提的费用怎么调整
  • 未开票收入缴纳增值税怎么冲减补开发票
  • 民间非盈利组织会计信息的使用者
  • linux系统中的文件访问权限包括几种
  • PHP:xml_set_processing_instruction_handler()的用法_XML解析器函数
  • vue做移动端适配最佳解决方案,亲测有效
  • autorun.exe无法运行
  • 深入php:面向对象、模式与实践
  • 缴纳租房押金会被骗吗
  • 销售货物产生的运费怎么开票
  • flex布局教程实例篇
  • yolov5源码讲解
  • 软考备考时间
  • php数组转树
  • 直线折旧法账务处理例题
  • js去除属性
  • 金税第一次使用怎么用
  • 小规模纳税人是什么意思
  • 小规模纳税人去年免税,红冲后今年开多少税率的发票
  • 铁路运输企业受托代征 印花税
  • 长期股权投资内部交易抵消
  • 报关单份数
  • 公司收到银行存款利息回单的会计分录
  • mysqli
  • 房企预缴增值税
  • 承兑汇票可以当现金借给别人用吗
  • 其他应收款的审定表怎么填
  • 税务局季度报表利润表
  • SQL Server Native Client下载 SQL Server Native Client安装方法
  • sql编程软件哪个好用
  • 差旅费报销时如何处理
  • 企业应付职工薪酬的会计核算毕业设计
  • 钢管租赁怎么算的
  • 生产成本与管理企业经营实战感想
  • 简易征收应纳税额
  • 应付账款从质保金扣除
  • 应交税费要计提吗?
  • 收到违约金如何做账
  • 政府会计工资代扣工会会费
  • 代理进口产品
  • 保安公司购买的保险
  • 职工教育经费中的职工培训费用可以全额扣除吗
  • 利润表的编制方法和步骤实操
  • 自制半成品核算方法
  • mysql两者之间
  • mysql运行代码
  • mac上safari
  • win7系统咋样
  • andriod 控件
  • Bullet之了解Force Torque Impulse
  • 基于node.js的跳蚤市场网站主要内容
  • python3 pygame
  • Javascript字符串对象函数
  • 费减备案合格后怎么操作?
  • 保税工厂和非保税工厂的区别
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设