位置: IT常识 - 正文

关于Pytorch中的train()和eval()(以及no_grad())(pytorch train())

编辑:rootadmin
关于Pytorch中的train()和eval()(以及no_grad()) 1、三剑客:train()、eval()、no_grad()1.1 train()1.2 eval()1.3 no_grad()2、简单分析下2.1 为什么要使用train()和eval()2.2 为什么可以把训练集的统计量用作测试集?3、我的坑

推荐整理分享关于Pytorch中的train()和eval()(以及no_grad())(pytorch train()),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pytorch trace,pytorch tqdm,pytorch trace,pytorch jit trace,pytorch trace,pytorch tqdm,pytorch tqdm,pytorch trace,内容如对您有帮助,希望把文章链接给更多的朋友!

起源是我训练好了一个模型,新建一个推理脚本加载好checkpoint和预处理输入后推理,发现无论输入是哪一类甚至是随机数,其输出概率总是第一类的值最大,且总是在0.5附近,排查许久,发现是没有加上model.eval()函数。

因为我使用了model.no_grad(),下意识认为不需要加model.eval(),导致发生了本次事故

1、三剑客:train()、eval()、no_grad()

这三个函数实际上很常见,先来简单看下使用方法

1.1 train()

train()是nn.Module的方法,也就是你定义了一个网络model,那么mdoel.train()表示将该model设置为训练模式,一般在开始新epoch训练时,我们会首先执行该命令:

...model.train()# 将模型设置为训练模式for i, data in enumerate(train_loader): # 开始新epoch的训练images, labels = data images, labels = images.to(device), labels.to(device)...

1.2 eval()

同train()一样,其用法和含义也一样,eval()是nn.Module的方法,也就是你定义了一个网络model,那么mdoel.eval()表示将该model设置为验证模式,一般在开始验证当前model效果时,我们会首先执行该命令:

...model.eval()# 将模型设置为验证模式for i, data in enumerate(eval_loader): # 在验证集上验证images, labels = data images, labels = images.to(device), labels.to(device)...

1.3 no_grad()

no_grad()是torch库的方法,和上下文管理器with来搭配使用。 其作用是禁用梯度计算,当你确定不会调用tensor.backward()时。它将减少计算的内存消耗,否则这些计算将requires_grad=True。 如果设定了no_grad(),即使输入张量属性requires_grad为True,也不会计算梯度

一般我们进行模型验证或者模型推理时,就不需要梯度以及反向传播,所以我们可以在torch.no_grad()上下文管理器中执行我们的验证或推理任务,可以显著降低显存的使用。

with torch.no_grad():output=model(input_tensor)# 模型推理print(output) # model推理才涉及梯度等,print都不涉及了,所以在不在with之中已经无所谓了2、简单分析下2.1 为什么要使用train()和eval()

我们知道nn.Module中的BN层可以加速收敛,但是该层需要计算输入BatchTensor的均值和方差,毕竟一个BatchSize为64、128甚至更大,计算他们的均值和方差也简单。

关于Pytorch中的train()和eval()(以及no_grad())(pytorch train())

但问题是,当我们推理时,去对一张图像进行推理时,计算到BN层也需要该批次的均值和方差。但是现在就一个tensor,计算其均值和方差是没有意义的(一个样本的均值和方差统计量说明不了什么)。

实际上在推理时BN所需要的均值和方差是训练时的值(可以理解为训练时把训练样本的均值和方差记录下来了)。

问题来了,模型怎么知道我现在是训练状态还是推理状态?

当model.train()时,模型处于训练状态,模型会计算Batch的均值和方差

当model.eval()时,模型处于验证状态,模型会使用训练集的均值和方差作为验证数据的均值和方差

同样的还有Dropout层,Dropout层在训练时会随机失活某些神经元,提高模型泛化能力,但是在验证推理时,Dropout层不需要再失活了,也就是所有的神经元都要“干活”了。

总之train()和eval()最主要就是影响了BN层和Dropout层

2.2 为什么可以把训练集的统计量用作测试集?

为什么可以把训练集的统计量用作测试集,因为无论是训练集、验证集还是测试机,甚至是没有收集到的同类图像,他们都是独立同分布的。

换句话说,世界上所有的猫的图片组成一个集合,那么这个集合就存在一个分布,这个分布就像高斯分布、泊松分布等,只不过这个猫的集合分布可能更加复杂,暂叫它猫分布吧。

这个猫分布中每一个样本都肯定是服从这个猫分布的,但同时这些样本互不相关联,我们把其中一部分拿来做训练集,再拿一小部分做测试集。

我们设计了一个模型在训练集上训练,因为训练集也服从猫分布,所以模型在训练集上“锻炼”出来的能力,就是从小块训练集去拟合整个猫分布。

即从少量猫图上去推理所有猫图,从而具有泛化能力,去推理没有见过的但同类的图像也有非常好的效果。但是这也容易造成管中窥豹,只看到事物的一部分,见不全面,所以模型又无法识别出所有的猫图。

3、我的坑

我下意识以为使用了no_grad()就不需要再设置了eval(),导致训练效果很好,自己以测试,其输出的概率毫无逻辑。

eval()是影响BN层和Dropout层 而no_grad()是不计算梯度 两个是风马牛不相及,当然搭配使用效果即好还剩内存!

本文链接地址:https://www.jiuchutong.com/zhishi/295386.html 转载请保留说明!

上一篇:面试官问出这几道算法题,你能扛住么?(面试官问几个问题)

下一篇:微信小程序【获取用户昵称头像和昵称(附源码)】(微信小程序获取位置信息的权限在哪里修改位置)

  • 房产公司预缴土地增值税怎么做账
  • 房地产开发企业资质等级有几个
  • 高新企业享受税收优惠政策备案怎么申请
  • 进口关税计算公式 案例
  • 长期股权投资的账面价值怎么计算
  • 劳务公司开出的工程服务费专用发票怎么计费
  • 百旺税盘网络连接不上
  • 非增值税应税项目可以抵扣进项税吗
  • 企业放贷利息收多少合适
  • 派发现金红利分录
  • 金蝶专业版怎么导入备份账套
  • 付了定金一定会有货吗
  • 公益性生物资产属于什么科目
  • 报销单和付款单的区别
  • 年终对应交税费的减免税款怎样处理?
  • 开增值税专用发票需要合同吗
  • 企业收到分红款要交税吗
  • 运输发票上的印章怎么弄
  • 租赁合同印花税税率2023
  • 给行政事业单位扣缴义务人的一封信
  • 办公室设计费取费标准一览表
  • 未达账项做完调节表后怎么处理?
  • 统一社会信用代码在哪里可以查询
  • 金蝶采购发票怎么红冲
  • 食堂购买蔬菜计算公式
  • 怎么修改以前年度的账
  • 代扣的工会会费和工会经费
  • uniapp登陆检查
  • php异常处理和错误处理
  • 对于小型微利企业的建议
  • 企业和银行未达账项
  • 出售土地账务如何处理
  • jquery弹出层插件
  • php 性能优化
  • 赠送的物品有价值吗
  • 合伙企业退伙个税
  • 人力资源企业税收风险
  • 选择简易计税方法按照5%的征收率计税公式
  • 社会团体不属于财政拨款的对象
  • php static function
  • php引用类型
  • excel随机抽取n行数据
  • 省市县三级联动工作机制
  • 加计扣除的增值税怎么做账
  • 结转成本是什么凭证
  • 一般纳税人销售旧货税率
  • 计提地税会计分录怎么做
  • 代扣的个人所得税怎么做分录
  • 安全生产费如何计量
  • 关联的公司
  • 差旅费出差补助标准
  • 开具红字增值税专用发票信息表需要盖章吗
  • 蓝字发票认证怎么操作
  • 会计科目设置的相关注意事项
  • Suse Linux 10中MySql安装与配置步骤
  • sql的数据操作
  • win8.1使用技巧
  • Win10预览版拆弹
  • windows vista在哪里
  • “incorrect super block” FreeBSD挂载CDROM时报错误的解决方法
  • 丢失msvcp71.dll
  • ubuntu20.10
  • 如何让电脑启动更快
  • win7网络正常网页打不开是什么原因
  • win8不能安装软件
  • linux对比文件夹差异
  • Win10系统怎么使用经典事件查看器?
  • shell脚本用法
  • jquery 拖拽布局
  • css文本框怎么对齐
  • unity如何得到输入框的输入
  • js的运算符
  • unity3d基本操作
  • shell脚本的实现
  • python3m
  • unity屏幕坐标 ui坐标
  • javascript学习指南
  • jquery jsonview
  • pythonsetter
  • A级纳税人和一般纳税人区别
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设