位置: IT常识 - 正文

fine-tuning(微调)的理解(微调是调哪里)

编辑:rootadmin
fine-tuning(微调)的理解 fine-tuning介绍什么情况下使用微调微调指导事项不同数据集下使用微调涉及到的其他知识学习率(learning-rate)卷积神经网络的核心迁移学习与微调什么是迁移学习为什么要迁移学习详细解释自己的理解(不知道对不对)介绍

推荐整理分享fine-tuning(微调)的理解(微调是调哪里),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:微调是什么,微调是什么,finetuning微调,微调英文怎么说,微调是什么,微调怎么读,微调是调哪里,triovis微调,内容如对您有帮助,希望把文章链接给更多的朋友!

fine-tuning的过程就是用训练好的参数(从已训练好的模型中获得)初始化自己的网络,然后用自己的数据接着训练,参数的调整方法与from scratch训练过程一样(梯度下降)。对于初始化过程,我们可以称自己的网络为目标网络,训练好的模型对应网络为源网络,要求目标网络待初始化的层要与源网络的层相同(层的名字、类型以及层的设置参数等等均相同)。

fine-tuning已经成为了使用DL网络的一个常用技巧(trick)。使用深度网络做图像处理任务时,使用一个在大的数据集上预训练好的模型在自己数据上微调往往可以得到比直接用自己数据训练更好的效果,这是因为在imagenet上预训练的模型参数从微调一开始就处于一个较好的位置,这样微调能够更快的使网络收敛。对于相同类别的任务我们可以默认这样去做比较好。然而当我们要做一个不同的任务,那么可能直接拿预训练的模型进行微调就不是最好的了。

一般我们在训练from scratch的时候往往要在一些超大型的数据集上训练,一个目的是为了让训练得到的特征(尤其是底层特征)更加多样。而从generative pre-training(生成式预训练)到discriminative fine-tuning(判别微调)的过程是一个对泛化特征进行面向任务的特化的过程。首先,如果你将底层特征可视化出来,会发现底层特征多是一些边、角之类的基础几何形状,高层特征可能会发生一些有趣的变化,直接反映出你的task。 在大数据集上进行预训练的目的之一是为了获得丰富、一般化的底层特征,换言之就是学到丰富的“基础几何形状”。有了这些丰富的基础几何形状,等过渡到小数据集上 finetune 的时候,就可以通过它们组合出上层具有强判别力的特征。此时,如果你再将组合出来的上层特征可视化,就会发现它们已经有模有样了。底层特征非常重要,如果底层特征不够好,特征类型不够充分,很可能训练不出来好的高层抽象。这就是为什么需要在大规模数据集上进行genertive training的原因之一。

网络越深,底层的参数越难得到有效训练,这也是为什么经常有人用 vggNet finetune 的原因之一。使用 backpropagation(反向传播)进行训练的时候残差逐层传递,有可能到底层的时候残差就很小了(gradient vanishing),导致底层的参数不动。

finetune 就是直接从别人已经训练好的网络上拷贝参数,然后针对自己的数据训练新的模型。这时候需要比较小的learning_rate, 因为要在不破坏原有模型的情况下 fit 自己的数据,finetune 的好处就是可以直接获得我们难以或者无法训练的底层参数。

什么情况下使用微调

(1)你要使用的数据集和预训练模型的数据集相似,如果不太相似,比如你用的预训练的参数是自然景物的图片,你却要做人脸的识别,效果可能就没有那么好了,因为人脸的特征和自然景物的特征提取是不同的,所以相应的参数训练后也是不同的。 (2)自己搭建或者使用的CNN模型正确率太低。 (3)数据集相似,但数据集数量太少。 (4)计算资源太少。

微调指导事项fine-tuning(微调)的理解(微调是调哪里)

1.通常的做法是截断预先训练好的网络的最后一层( softmax层),并用与我们自己的问题相关的新的softmax层替换它。例如,ImageNet上预先训练好的网络带有1000个类别的softmax图层。如果我们的任务是对10个类别的分类,则网络的新softmax层将由10个类别组成,而不是1000个类别。然后,我们在网络上运行预先训练的权重。确保执行交叉验证,以便网络能够很好地推广。 ⒉.使用较小的学习率来训练网络。由于我们预计预先训练的权重相对于随机初始化的权重已经相当不错,我们不想过快地扭曲它们太多。通常的做法是使初始学习率比用于从头开始训练(Training from scratch )的初始学习率小10倍。 3.如果数据集数量过少,我们进来只训练最后一层,如果数据集数量中等,冻结预训练网络的前几层的权重也是一种常见做法。这是因为前几个图层捕捉了与我们的新问题相关的通用特征,如曲线和边。我们希望保持这些权重不变。相反,我们会让网络专注于学习后续深层中特定于数据集的特征。

不同数据集下使用微调

1.数据量少,但数据相似度非常高。在这种情况下,我们所做的只是修改最后几层或最终的softmax图层的输出类别。 2.数据量少,数据相似度低。在这种情况下,我们可以冻结预训练模型的初始层(比如k层),并再次训练剩余的( n-k )层。由于新数据集的相似度较低,因此根据新数据集对较高层进行重新训练具有重要意义。 3.数据量大,数据相似度低。在这种情况下,由于我们有一个大的数据集,我们的神经网络训练将会很有效。但是,由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同。使用预训练模型进行的预测不会有效。因此,最好根据你的数据从头开始训练神经网络(Training from scatch )。 4.数据量大,数据相似度高。这是理想情况。在这种情况下,预训练模型应该是最有效的。使用模型的最好方法是保留模型的体系结构和模型的初始权重。然后,我们可以使用在预先训练的模型中的权重来重新训练该模型。

涉及到的其他知识学习率(learning-rate)

将输出误差反向传播给网络参数,以此来拟合样本的输出。本质上是最优化的一个过程,逐步趋向于最优解。但是每一次更新参数利用多少误差,就需要通过一个参数来控制,这个参数就是学习率(Learning rate),也称为步长。

学习率越大,输出误差对参数的影响就越大,参数更新的就越快,但同时受到异常数据的影响也就越大,梯度可能会在最小值附近来回震荡,甚至可能无法收敛。当学习率设置的过小时,收敛过程将变得十分缓慢。

最理想的学习率不是固定值,而是一个随着训练次数衰减的变化的值,也就是在训练初期,学习率比较大,随着训练的进行,学习率不断减小,直到模型收敛。

学习率大学习率小学习速度快慢使用时间点刚开始训练时一定轮数过后副作用1.易损失值爆炸;2.易振荡1.易过拟合;2.收敛速度慢

如果是迁移学习 ,由于模型已在原始数据上收敛,此时应设置较小学习率 (≤10^−4) 在新数据上进行微调 。

卷积神经网络的核心

(1)浅层卷积层提取基础特征,比如边缘,轮廓等基础特征。 (2)深层卷积层提取抽象特征,比如整个脸型。 (3)全连接层根据特征组合进行评分分类。

迁移学习与微调什么是迁移学习

迁移学习(Transfer learning) 顾名思义就是把已训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务都是存在相关性的,所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。

为什么要迁移学习

1)站在巨人的肩膀上:前人花很大精力训练出来的模型在大概率上会比你自己从零开始搭的模型要好。 2)训练成本可以很低:如果采用导出特征向量的方法进行迁移学习,后期的训练成本非常低,用CPU都完全无压力,没有深度学习机器也可以做。 3)适用于小数据集:对于数据集本身很小(几千张图片)的情况,从头开始训练具有几千万参数的大型神经网络是不现实的,因为越大的模型对数据量的要求越大,过拟合无法避免。这时候如果还想用上大型神经网络的超强特征提取能力,只能靠迁移学习。

详细解释

1)Transfer Learning:冻结预训练模型的全部卷积层,只训练自己定制的全连接层。 2)Extract Feature Vector:先计算出预训练模型的卷积层对所有训练和测试数据的特征向量,然后抛开预训练模型,只训练自己定制的简配版全连接网络。 3)Fine-tune:冻结预训练模型的部分卷积层(通常是靠近输入的多数卷积层),训练剩下的卷积层(通常是靠近输出的部分卷积层)和全连接层。

注:Transfer Learning关心的问题是:什么是“知识”以及如何更好地运用之前得到的“知识”,这可以有很多方法和手段,eg:SVM,贝叶斯,CNN等。而fine-tune只是其中的一种手段,更常用于形容迁移学习的后期微调中。自己的理解(不知道对不对)

1.迁移学习,学习的是整个结构,包括函数权重参数等; 而fine-tuning,学习的是前n层的参数。 2.fine-tuning是迁移学习的方法之一。

本文链接地址:https://www.jiuchutong.com/zhishi/299599.html 转载请保留说明!

上一篇:HTML生日快乐-生日祝福(烟花+粒子动画)(生日快乐html5代码)

下一篇:python命令 解释器、交互式、面向对象的编程语言(python 命令行参数解析)

  • 华为nova9怎么隐藏应用(华为nova9怎么隐藏桌面软件)

    华为nova9怎么隐藏应用(华为nova9怎么隐藏桌面软件)

  • 支付宝临时额度用了什么时候还(支付宝临时额度到期了是不是要全部归还)

    支付宝临时额度用了什么时候还(支付宝临时额度到期了是不是要全部归还)

  • 显卡风扇转一下 无显示(显卡风扇转一下就停)

    显卡风扇转一下 无显示(显卡风扇转一下就停)

  • 红米note8pronfc在哪里(红米note8pro nfc)

    红米note8pronfc在哪里(红米note8pro nfc)

  • 蚂蚁森林怎么获得公益林证书(蚂蚁森林怎么获得绿色能量)

    蚂蚁森林怎么获得公益林证书(蚂蚁森林怎么获得绿色能量)

  • b站个人动态怎么发(b站怎么弄动态)

    b站个人动态怎么发(b站怎么弄动态)

  • oppoa11有没有红外线功能(OPPOA11有没有红外)

    oppoa11有没有红外线功能(OPPOA11有没有红外)

  • 手机呼叫转移是什么意思(手机呼叫转移是所有电话都转移吗)

    手机呼叫转移是什么意思(手机呼叫转移是所有电话都转移吗)

  • 亚马逊个人店铺和企业店铺区别(亚马逊个人店铺怎么买保险)

    亚马逊个人店铺和企业店铺区别(亚马逊个人店铺怎么买保险)

  • 快手发作品怎么艾特自己(快手发作品怎么保存到相册)

    快手发作品怎么艾特自己(快手发作品怎么保存到相册)

  • 微信附近的人怎么一个也不通过(微信附近的人怎么看不到我)

    微信附近的人怎么一个也不通过(微信附近的人怎么看不到我)

  • tagnngqy音箱什么牌子(taga音箱)

    tagnngqy音箱什么牌子(taga音箱)

  • esc系统故障是什么意思(esc故障怎么办)

    esc系统故障是什么意思(esc故障怎么办)

  • 小米9一直循环重启(小米9一直循环重启怎么办)

    小米9一直循环重启(小米9一直循环重启怎么办)

  • 抖音里的三角代表什么(抖音里面的三角代表)

    抖音里的三角代表什么(抖音里面的三角代表)

  • 快手怎么看直播观看人数(快手怎么看直播间有多少人)

    快手怎么看直播观看人数(快手怎么看直播间有多少人)

  • 京东忘记密码怎么找回(京东忘记密码怎么办验证码没有发到手机上)

    京东忘记密码怎么找回(京东忘记密码怎么办验证码没有发到手机上)

  • 拼多多视频怎么制作(拼多多视频怎么下载)

    拼多多视频怎么制作(拼多多视频怎么下载)

  • 拼多多需要实名吗(拼多多需要实名的商品)

    拼多多需要实名吗(拼多多需要实名的商品)

  • 摄像轴线是什么意思(简述摄像机操作要领及技巧,轴线的含义)

    摄像轴线是什么意思(简述摄像机操作要领及技巧,轴线的含义)

  • 8p什么时候出的(128g的8p什么时候出的)

    8p什么时候出的(128g的8p什么时候出的)

  • iphonex访问限制在哪里(iphonex的访问限制功能)

    iphonex访问限制在哪里(iphonex的访问限制功能)

  • mount.nfs命令  挂载NFS网络文件系统(mount.nfs an incorrect mount)

    mount.nfs命令 挂载NFS网络文件系统(mount.nfs an incorrect mount)

  • 小规模纳税人减按1%政策文件
  • 城建税计算方法有哪些
  • 计提存款利息
  • 小规模纳税人工程发票几个点
  • 长期待摊费用借贷方向表示什么
  • 工会建账选择哪个科目好
  • 销售部的招待费计入什么费用
  • 已出库未开票要交税吗
  • 房地产投资
  • 价外费用的判断标准
  • 在建工程领用原材料的账务处理
  • 价外补贴需要交增值税吗
  • 土地增值税计税价格
  • 固定资产公允价值减去处置费用后的净额
  • 结算金额大于合同金额
  • 长期待摊费用可以抵扣吗
  • 盈余公积多计提对报表的影响
  • 去国外参加展览的英文
  • 个体户生产经营所得税税率表
  • 缴纳上月应交税费分录
  • 建筑企业能申请小微企业吗
  • 预付账款可以用应付账款借方
  • 违约金收入如何缴税
  • 房屋使用权转让合法吗
  • 能够影响现金流的因素有
  • 支票存根没有进账怎么办
  • 过路费企业所得税汇算清缴计入什么科目?
  • 一般纳税人进货收到普票怎么做账
  • 网卡和网线都正确接法
  • 哪些情况下可以终止心肺复苏
  • 增值税的滞纳金怎么做账
  • php的字符串函数
  • 享受企业所得税优惠政策的农产品初加工范围
  • Thinkphp和onethink实现微信支付插件
  • php 解析
  • 什么是AI工具
  • vscode搭建vue项目
  • php php
  • php使用mysql
  • 未记账凭证怎么变成已记账凭证
  • 红字写信是什么意思
  • 个人垫款公司将款支付个人算是资金回流吗
  • 三代手续费支付申请表怎么填
  • 个体户怎么交税?
  • 个体户怎么申请电子营业执照
  • 民间非营利组织会计科目
  • 未确认融资费用摊销额怎么计算
  • 银行付款明细
  • 员工持股平台合伙企业
  • 银行支付结算管理办法
  • 工程履约保证金退还申请书
  • 房地产契税新政策2023
  • 附加税减免政策2023
  • 差旅费出差补助标准
  • 营业成本年末怎么结转
  • 预算凭证是什么
  • 报销餐费属于什么费用
  • 进项税额转出在哪里查
  • sqli
  • SQL Server COALESCE函数详解及实例
  • windows server 2008 r2最大支持内存
  • ubuntu-desktop启动
  • mac如何设置默认打开程序
  • 如何给电脑重装系统win7系统
  • winxp开启远程控制
  • windows8怎么设置开机密码
  • win10系统的优化
  • linux源于
  • js必须掌握的
  • javascript总结
  • pyqt用法
  • 整型python
  • Android性能优化的方面12个
  • python 设计
  • python的params
  • javascript零基础
  • android多语言失效
  • 临沂学生医疗保险多少钱
  • 发票真伪查询国税官网12366
  • 纳税申报逾期怎样补报?
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设