位置: IT常识 - 正文

关于Pytorch中的train()和eval()(以及no_grad())(pytorch train())

编辑:rootadmin
关于Pytorch中的train()和eval()(以及no_grad()) 1、三剑客:train()、eval()、no_grad()1.1 train()1.2 eval()1.3 no_grad()2、简单分析下2.1 为什么要使用train()和eval()2.2 为什么可以把训练集的统计量用作测试集?3、我的坑

推荐整理分享关于Pytorch中的train()和eval()(以及no_grad())(pytorch train()),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pytorch trace,pytorch tqdm,pytorch trace,pytorch jit trace,pytorch trace,pytorch tqdm,pytorch tqdm,pytorch trace,内容如对您有帮助,希望把文章链接给更多的朋友!

起源是我训练好了一个模型,新建一个推理脚本加载好checkpoint和预处理输入后推理,发现无论输入是哪一类甚至是随机数,其输出概率总是第一类的值最大,且总是在0.5附近,排查许久,发现是没有加上model.eval()函数。

因为我使用了model.no_grad(),下意识认为不需要加model.eval(),导致发生了本次事故

1、三剑客:train()、eval()、no_grad()

这三个函数实际上很常见,先来简单看下使用方法

1.1 train()

train()是nn.Module的方法,也就是你定义了一个网络model,那么mdoel.train()表示将该model设置为训练模式,一般在开始新epoch训练时,我们会首先执行该命令:

...model.train()# 将模型设置为训练模式for i, data in enumerate(train_loader): # 开始新epoch的训练images, labels = data images, labels = images.to(device), labels.to(device)...

1.2 eval()

同train()一样,其用法和含义也一样,eval()是nn.Module的方法,也就是你定义了一个网络model,那么mdoel.eval()表示将该model设置为验证模式,一般在开始验证当前model效果时,我们会首先执行该命令:

...model.eval()# 将模型设置为验证模式for i, data in enumerate(eval_loader): # 在验证集上验证images, labels = data images, labels = images.to(device), labels.to(device)...

1.3 no_grad()

no_grad()是torch库的方法,和上下文管理器with来搭配使用。 其作用是禁用梯度计算,当你确定不会调用tensor.backward()时。它将减少计算的内存消耗,否则这些计算将requires_grad=True。 如果设定了no_grad(),即使输入张量属性requires_grad为True,也不会计算梯度

一般我们进行模型验证或者模型推理时,就不需要梯度以及反向传播,所以我们可以在torch.no_grad()上下文管理器中执行我们的验证或推理任务,可以显著降低显存的使用。

with torch.no_grad():output=model(input_tensor)# 模型推理print(output) # model推理才涉及梯度等,print都不涉及了,所以在不在with之中已经无所谓了2、简单分析下2.1 为什么要使用train()和eval()

我们知道nn.Module中的BN层可以加速收敛,但是该层需要计算输入BatchTensor的均值和方差,毕竟一个BatchSize为64、128甚至更大,计算他们的均值和方差也简单。

关于Pytorch中的train()和eval()(以及no_grad())(pytorch train())

但问题是,当我们推理时,去对一张图像进行推理时,计算到BN层也需要该批次的均值和方差。但是现在就一个tensor,计算其均值和方差是没有意义的(一个样本的均值和方差统计量说明不了什么)。

实际上在推理时BN所需要的均值和方差是训练时的值(可以理解为训练时把训练样本的均值和方差记录下来了)。

问题来了,模型怎么知道我现在是训练状态还是推理状态?

当model.train()时,模型处于训练状态,模型会计算Batch的均值和方差

当model.eval()时,模型处于验证状态,模型会使用训练集的均值和方差作为验证数据的均值和方差

同样的还有Dropout层,Dropout层在训练时会随机失活某些神经元,提高模型泛化能力,但是在验证推理时,Dropout层不需要再失活了,也就是所有的神经元都要“干活”了。

总之train()和eval()最主要就是影响了BN层和Dropout层

2.2 为什么可以把训练集的统计量用作测试集?

为什么可以把训练集的统计量用作测试集,因为无论是训练集、验证集还是测试机,甚至是没有收集到的同类图像,他们都是独立同分布的。

换句话说,世界上所有的猫的图片组成一个集合,那么这个集合就存在一个分布,这个分布就像高斯分布、泊松分布等,只不过这个猫的集合分布可能更加复杂,暂叫它猫分布吧。

这个猫分布中每一个样本都肯定是服从这个猫分布的,但同时这些样本互不相关联,我们把其中一部分拿来做训练集,再拿一小部分做测试集。

我们设计了一个模型在训练集上训练,因为训练集也服从猫分布,所以模型在训练集上“锻炼”出来的能力,就是从小块训练集去拟合整个猫分布。

即从少量猫图上去推理所有猫图,从而具有泛化能力,去推理没有见过的但同类的图像也有非常好的效果。但是这也容易造成管中窥豹,只看到事物的一部分,见不全面,所以模型又无法识别出所有的猫图。

3、我的坑

我下意识以为使用了no_grad()就不需要再设置了eval(),导致训练效果很好,自己以测试,其输出的概率毫无逻辑。

eval()是影响BN层和Dropout层 而no_grad()是不计算梯度 两个是风马牛不相及,当然搭配使用效果即好还剩内存!

本文链接地址:https://www.jiuchutong.com/zhishi/295386.html 转载请保留说明!

上一篇:面试官问出这几道算法题,你能扛住么?(面试官问几个问题)

下一篇:微信小程序【获取用户昵称头像和昵称(附源码)】(微信小程序获取位置信息的权限在哪里修改位置)

  • 企业所得税如何做分录
  • 固定资产清理的账务处理
  • 发票认证没有信用怎么办
  • 乘车保险费
  • 退回以前年度的增值税账务处理
  • 购买原材料记账凭证怎么写
  • 培训机构开发票不能开公司抬头吗
  • 小规模增值税税率表
  • 手工记账需要什么资质
  • 房地产限购过程是什么
  • 劳务外包要通过应付职工薪酬吗
  • 建安企业增值税预缴
  • 同一控制下企业合并会产生商誉吗
  • 收到去年未计提折旧费
  • 代发农民工工资承诺书
  • 土地证是商业用地
  • 资产负债表日是什么意思
  • 待转销项税额结转分录
  • 权责发生制如何计算
  • 冲减以前年度所得税费用
  • 稿费算税
  • 利润表有盈利能力吗
  • 长期未收回的应收账款企业所得税
  • 什么情况下一般纳税人可以转为小规模纳税人
  • 不征收增值税的项目有哪些
  • 广告传媒公司的成本是什么
  • 脑部病毒感染什么症状
  • 完税凭证遗失后还能用吗
  • 中秋福利发放现金怎么做表
  • 查账补交以前年度印花税分录
  • 公司准备上市到真正上市要多久
  • 买货没发票如何入账
  • vue three.js
  • js获取网页链接
  • 付出对价的公允
  • 为什么运输合同比租赁合同风险小
  • 人工智能会影响经济发展吗
  • 图片格式转换pdf
  • 微信小程序开发一个多少钱
  • 一个惊艳了
  • chatGPT身份指令
  • php封装app
  • 公司购买承兑
  • 税控盘增值税发票怎么开
  • 购买原材料运输费的增值税计入什么科目
  • 小规模首次申请发票张数
  • 应税项目和非应税项目分类
  • 短期借款利息怎么做账
  • 哪种营业执照不用交税开店有营业执照有什么好
  • 其他综合收益的概念
  • 企业按季度交税
  • 负数发票怎样做账
  • 纳税申报是根据什么填写的
  • 生物资产包括哪两类
  • 企业购买设备抵税
  • 租户押金抵房租
  • 工地会计怎么做账
  • 会计做账做错了
  • 离岸服务外包收入
  • 发票开商品类别可以报销吗
  • 滴滴发票抬头是什么意思
  • 航天金税税控盘服务电话
  • Linux下mysql 5.6.17安装图文教程详细版
  • mac版安装教程
  • 联想系统win8
  • xp系统如何设置
  • scheduler.exe - scheduler是什么进程 有何作用
  • linux swap分区必须吗
  • windows tcp
  • nodejs利用http模块实现银行卡所属银行查询和骚扰电话验证示例
  • bat批量命名
  • nodejs 回调
  • javascript教程
  • shell脚本实例精讲
  • unity移动脚本代码
  • MVC+jQuery.Ajax异步实现增删改查和分页
  • 甘肃国家税务发票查询
  • 个人出租商铺个人所得税计算
  • 浙江省电子税务局手机开票入口
  • 湖南省税务局网站2024公务员招聘
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设