位置: IT常识 - 正文

fine-tuning(微调)的理解(微调是调哪里)

编辑:rootadmin
fine-tuning(微调)的理解 fine-tuning介绍什么情况下使用微调微调指导事项不同数据集下使用微调涉及到的其他知识学习率(learning-rate)卷积神经网络的核心迁移学习与微调什么是迁移学习为什么要迁移学习详细解释自己的理解(不知道对不对)介绍

推荐整理分享fine-tuning(微调)的理解(微调是调哪里),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:微调是什么,微调是什么,finetuning微调,微调英文怎么说,微调是什么,微调怎么读,微调是调哪里,triovis微调,内容如对您有帮助,希望把文章链接给更多的朋友!

fine-tuning的过程就是用训练好的参数(从已训练好的模型中获得)初始化自己的网络,然后用自己的数据接着训练,参数的调整方法与from scratch训练过程一样(梯度下降)。对于初始化过程,我们可以称自己的网络为目标网络,训练好的模型对应网络为源网络,要求目标网络待初始化的层要与源网络的层相同(层的名字、类型以及层的设置参数等等均相同)。

fine-tuning已经成为了使用DL网络的一个常用技巧(trick)。使用深度网络做图像处理任务时,使用一个在大的数据集上预训练好的模型在自己数据上微调往往可以得到比直接用自己数据训练更好的效果,这是因为在imagenet上预训练的模型参数从微调一开始就处于一个较好的位置,这样微调能够更快的使网络收敛。对于相同类别的任务我们可以默认这样去做比较好。然而当我们要做一个不同的任务,那么可能直接拿预训练的模型进行微调就不是最好的了。

一般我们在训练from scratch的时候往往要在一些超大型的数据集上训练,一个目的是为了让训练得到的特征(尤其是底层特征)更加多样。而从generative pre-training(生成式预训练)到discriminative fine-tuning(判别微调)的过程是一个对泛化特征进行面向任务的特化的过程。首先,如果你将底层特征可视化出来,会发现底层特征多是一些边、角之类的基础几何形状,高层特征可能会发生一些有趣的变化,直接反映出你的task。 在大数据集上进行预训练的目的之一是为了获得丰富、一般化的底层特征,换言之就是学到丰富的“基础几何形状”。有了这些丰富的基础几何形状,等过渡到小数据集上 finetune 的时候,就可以通过它们组合出上层具有强判别力的特征。此时,如果你再将组合出来的上层特征可视化,就会发现它们已经有模有样了。底层特征非常重要,如果底层特征不够好,特征类型不够充分,很可能训练不出来好的高层抽象。这就是为什么需要在大规模数据集上进行genertive training的原因之一。

网络越深,底层的参数越难得到有效训练,这也是为什么经常有人用 vggNet finetune 的原因之一。使用 backpropagation(反向传播)进行训练的时候残差逐层传递,有可能到底层的时候残差就很小了(gradient vanishing),导致底层的参数不动。

finetune 就是直接从别人已经训练好的网络上拷贝参数,然后针对自己的数据训练新的模型。这时候需要比较小的learning_rate, 因为要在不破坏原有模型的情况下 fit 自己的数据,finetune 的好处就是可以直接获得我们难以或者无法训练的底层参数。

什么情况下使用微调

(1)你要使用的数据集和预训练模型的数据集相似,如果不太相似,比如你用的预训练的参数是自然景物的图片,你却要做人脸的识别,效果可能就没有那么好了,因为人脸的特征和自然景物的特征提取是不同的,所以相应的参数训练后也是不同的。 (2)自己搭建或者使用的CNN模型正确率太低。 (3)数据集相似,但数据集数量太少。 (4)计算资源太少。

微调指导事项fine-tuning(微调)的理解(微调是调哪里)

1.通常的做法是截断预先训练好的网络的最后一层( softmax层),并用与我们自己的问题相关的新的softmax层替换它。例如,ImageNet上预先训练好的网络带有1000个类别的softmax图层。如果我们的任务是对10个类别的分类,则网络的新softmax层将由10个类别组成,而不是1000个类别。然后,我们在网络上运行预先训练的权重。确保执行交叉验证,以便网络能够很好地推广。 ⒉.使用较小的学习率来训练网络。由于我们预计预先训练的权重相对于随机初始化的权重已经相当不错,我们不想过快地扭曲它们太多。通常的做法是使初始学习率比用于从头开始训练(Training from scratch )的初始学习率小10倍。 3.如果数据集数量过少,我们进来只训练最后一层,如果数据集数量中等,冻结预训练网络的前几层的权重也是一种常见做法。这是因为前几个图层捕捉了与我们的新问题相关的通用特征,如曲线和边。我们希望保持这些权重不变。相反,我们会让网络专注于学习后续深层中特定于数据集的特征。

不同数据集下使用微调

1.数据量少,但数据相似度非常高。在这种情况下,我们所做的只是修改最后几层或最终的softmax图层的输出类别。 2.数据量少,数据相似度低。在这种情况下,我们可以冻结预训练模型的初始层(比如k层),并再次训练剩余的( n-k )层。由于新数据集的相似度较低,因此根据新数据集对较高层进行重新训练具有重要意义。 3.数据量大,数据相似度低。在这种情况下,由于我们有一个大的数据集,我们的神经网络训练将会很有效。但是,由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同。使用预训练模型进行的预测不会有效。因此,最好根据你的数据从头开始训练神经网络(Training from scatch )。 4.数据量大,数据相似度高。这是理想情况。在这种情况下,预训练模型应该是最有效的。使用模型的最好方法是保留模型的体系结构和模型的初始权重。然后,我们可以使用在预先训练的模型中的权重来重新训练该模型。

涉及到的其他知识学习率(learning-rate)

将输出误差反向传播给网络参数,以此来拟合样本的输出。本质上是最优化的一个过程,逐步趋向于最优解。但是每一次更新参数利用多少误差,就需要通过一个参数来控制,这个参数就是学习率(Learning rate),也称为步长。

学习率越大,输出误差对参数的影响就越大,参数更新的就越快,但同时受到异常数据的影响也就越大,梯度可能会在最小值附近来回震荡,甚至可能无法收敛。当学习率设置的过小时,收敛过程将变得十分缓慢。

最理想的学习率不是固定值,而是一个随着训练次数衰减的变化的值,也就是在训练初期,学习率比较大,随着训练的进行,学习率不断减小,直到模型收敛。

学习率大学习率小学习速度快慢使用时间点刚开始训练时一定轮数过后副作用1.易损失值爆炸;2.易振荡1.易过拟合;2.收敛速度慢

如果是迁移学习 ,由于模型已在原始数据上收敛,此时应设置较小学习率 (≤10^−4) 在新数据上进行微调 。

卷积神经网络的核心

(1)浅层卷积层提取基础特征,比如边缘,轮廓等基础特征。 (2)深层卷积层提取抽象特征,比如整个脸型。 (3)全连接层根据特征组合进行评分分类。

迁移学习与微调什么是迁移学习

迁移学习(Transfer learning) 顾名思义就是把已训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务都是存在相关性的,所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。

为什么要迁移学习

1)站在巨人的肩膀上:前人花很大精力训练出来的模型在大概率上会比你自己从零开始搭的模型要好。 2)训练成本可以很低:如果采用导出特征向量的方法进行迁移学习,后期的训练成本非常低,用CPU都完全无压力,没有深度学习机器也可以做。 3)适用于小数据集:对于数据集本身很小(几千张图片)的情况,从头开始训练具有几千万参数的大型神经网络是不现实的,因为越大的模型对数据量的要求越大,过拟合无法避免。这时候如果还想用上大型神经网络的超强特征提取能力,只能靠迁移学习。

详细解释

1)Transfer Learning:冻结预训练模型的全部卷积层,只训练自己定制的全连接层。 2)Extract Feature Vector:先计算出预训练模型的卷积层对所有训练和测试数据的特征向量,然后抛开预训练模型,只训练自己定制的简配版全连接网络。 3)Fine-tune:冻结预训练模型的部分卷积层(通常是靠近输入的多数卷积层),训练剩下的卷积层(通常是靠近输出的部分卷积层)和全连接层。

注:Transfer Learning关心的问题是:什么是“知识”以及如何更好地运用之前得到的“知识”,这可以有很多方法和手段,eg:SVM,贝叶斯,CNN等。而fine-tune只是其中的一种手段,更常用于形容迁移学习的后期微调中。自己的理解(不知道对不对)

1.迁移学习,学习的是整个结构,包括函数权重参数等; 而fine-tuning,学习的是前n层的参数。 2.fine-tuning是迁移学习的方法之一。

本文链接地址:https://www.jiuchutong.com/zhishi/299599.html 转载请保留说明!

上一篇:HTML生日快乐-生日祝福(烟花+粒子动画)(生日快乐html5代码)

下一篇:python命令 解释器、交互式、面向对象的编程语言(python 命令行参数解析)

  • 苹果手机腾讯视频怎么投屏到电视(苹果手机腾讯视频怎么取消自动续费)

    苹果手机腾讯视频怎么投屏到电视(苹果手机腾讯视频怎么取消自动续费)

  • 芭芭农场肥料工厂怎么开启(芭芭农场肥料工厂)

    芭芭农场肥料工厂怎么开启(芭芭农场肥料工厂)

  • 最多显示10张是拉黑了(最多显示10张是什么卡)

    最多显示10张是拉黑了(最多显示10张是什么卡)

  • word怎么创建索引(word怎么创建索引文件)

    word怎么创建索引(word怎么创建索引文件)

  • 苹果充电头怎么辨别原装的(苹果充电头怎么拆卸)

    苹果充电头怎么辨别原装的(苹果充电头怎么拆卸)

  • 手机微信怎么换微信头像(手机微信怎么换铃声)

    手机微信怎么换微信头像(手机微信怎么换铃声)

  • 微信都是实名认证吗(微信都是实名认证可以找到人吗)

    微信都是实名认证吗(微信都是实名认证可以找到人吗)

  • hisilicon kirin710什么处理器(hisiliconkirin710什么意思)

    hisilicon kirin710什么处理器(hisiliconkirin710什么意思)

  • 迅雷u享版和迅雷有什么区别(迅雷u享版是什么)

    迅雷u享版和迅雷有什么区别(迅雷u享版是什么)

  • 回收站中存放的是(windows10的回收站中存放的)

    回收站中存放的是(windows10的回收站中存放的)

  • 手机卡激活了就开始扣费吗(手机卡激活了就扣费吗)

    手机卡激活了就开始扣费吗(手机卡激活了就扣费吗)

  • 笔记本声音大嗡嗡响是怎么回事(笔记本声音大嗡嗡响需要清灰吗)

    笔记本声音大嗡嗡响是怎么回事(笔记本声音大嗡嗡响需要清灰吗)

  • 进程状态有哪些(进程状态有哪些,如何转化)

    进程状态有哪些(进程状态有哪些,如何转化)

  • vlookup精确查找是0还是1(vlookup精确查找怎么用)

    vlookup精确查找是0还是1(vlookup精确查找怎么用)

  • 华为magic2滑盖寿命(荣耀magic2滑盖寿命测试)

    华为magic2滑盖寿命(荣耀magic2滑盖寿命测试)

  • 苹果耳机可以买单只吗(苹果耳机可以买美版吗)

    苹果耳机可以买单只吗(苹果耳机可以买美版吗)

  • 拼多多怎么无物流发货(拼多多怎么无物流发货订单)

    拼多多怎么无物流发货(拼多多怎么无物流发货订单)

  • 知乎怎么激活用户(知乎怎样激活)

    知乎怎么激活用户(知乎怎样激活)

  • 手机如何打开eps文件(手机如何打开epub格式电子书)

    手机如何打开eps文件(手机如何打开epub格式电子书)

  • 苹果漏液能修复吗(苹果漏液修复大概要多久)

    苹果漏液能修复吗(苹果漏液修复大概要多久)

  • 华为p30的时间设置在哪里(华为p30的时间设置怎么调)

    华为p30的时间设置在哪里(华为p30的时间设置怎么调)

  • 华为p30是双卡双待双通吗(华为p30手机是双卡双待手机吗?)

    华为p30是双卡双待双通吗(华为p30手机是双卡双待手机吗?)

  • 百度视频如何保存到手机相册(百度视频如何保存到手机)

    百度视频如何保存到手机相册(百度视频如何保存到手机)

  • 今日头条如何认证(今日头条如何认证领域)

    今日头条如何认证(今日头条如何认证领域)

  • 钉钉查看员工位置(钉钉如何查看员工位置)

    钉钉查看员工位置(钉钉如何查看员工位置)

  • gnotify.exe是什么进程 有什么作用 gnotify进程查询(gnaupdaemon.exe是什么)

    gnotify.exe是什么进程 有什么作用 gnotify进程查询(gnaupdaemon.exe是什么)

  • 所得税月度申报
  • 无票收入小规模怎么报增值税
  • 一般纳税企业可以变更小微企业吗
  • 事业单位银行存款余额组成
  • 政府补助应计入
  • 收到进度款开票如何做账务处理合适呢?
  • 事业单位结余如何分配
  • 农业合作社预付款怎么算
  • 收到客户用房抵货款怎么办
  • 增值税系统技术维护费记什么科目
  • 收到建设方工程款怎么办
  • 个体行业哪些不需要交税
  • 其他应收款在什么方
  • 在建工程二级科目待摊支出
  • 车船使用税计缴标准
  • 企业合并无形资产摊销
  • 冲红发票开错了怎么办
  • 本月发票有红充这月成本怎么做账?
  • 进项税额加计抵减怎么做分录
  • 计提小规模增值税的账务处理
  • 出口退税的会计分录实例
  • 缴纳社保费现金流量?
  • php字符串定义的三种方式
  • 母公司投资收益和子公司
  • 拍卖土地印花税
  • PHP:pcntl_waitpid()的用法_PCNTL函数
  • php imagestring
  • 交易性金融资产属于流动资产
  • 国家对国有企业采取的政策是怎样的
  • 博茨瓦纳热吗
  • vue3+element-plus Dialog对话框的使用 与 setup 写法的使用
  • 什么叫转登记纳税人
  • 没有上报汇总就申报了
  • 精选100个Python实战项目案例,送给缺乏实战经验的你
  • php session跨域共享
  • 中国传统节日大概有多少
  • 小企业原材料
  • phpcms技术
  • c语言常用函数用法
  • 没有数字的公章有效吗
  • 折旧率多少正常
  • 企业如何采购
  • 公司股东的权利和义务有哪些
  • 企业所得税固定资产的计税基础
  • var文件是什么意思
  • 其他应收款在现金流量表怎么填
  • 企业购买商品房作为职工宿舍
  • 什么叫转让财产收入
  • 车辆置换差价账务处理
  • 开发间接费用怎么计算
  • 应收账款和应付账款的管理
  • 收到发票就是付款了吗
  • 总账会计的岗位目的
  • 委托加工的成本如何核算
  • mysql字符集的作用
  • 高效管理者的三大技能 罗伯特卡茨
  • ubuntu开启图形化界面
  • win10开机系统选择设置
  • 苹果系统怎么修改位置
  • backupnotify.exe是什么文件的进程 backupnotify进程安全吗
  • win8系统如何关闭杀毒系统
  • 如何快速卸载游戏
  • win10系统打开图片内存忽大忽小
  • windows10周年更新
  • win7系统玩暗黑2怎样全屏
  • gnaupdaemon.exe是什么
  • opengl入门视频教程
  • 微信小程序页面滚动
  • python和r语言区别
  • 原生js实现路由
  • bat中if语句的用法
  • vuejs单页面
  • js如何使用
  • python 线程教程
  • python中input的用法
  • python lambda的用法
  • 独资企业变更法人
  • 哪些润滑油属于危险品类
  • 上饶市国家税务局各县区办公楼修缮
  • 无经营公司
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设