位置: IT常识 - 正文

loss.item()用法和注意事项详解(loss for)

编辑:rootadmin
loss.item()用法和注意事项详解

推荐整理分享loss.item()用法和注意事项详解(loss for),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:loss at,loss at,loss method,loss from,loss at,loss的用法,loss into for,loss=mse,内容如对您有帮助,希望把文章链接给更多的朋友!

.item()方法是,取一个元素张量里面的具体元素值并返回该值,可以将一个零维张量转换成int型或者float型,在计算loss,accuracy时常用到。

作用:

1.item()取出张量具体位置的元素元素值 2.并且返回的是该位置元素值的高精度值 3.保持原元素类型不变;必须指定位置

4.节省内存(不会计入计算图)

import torchloss = torch.randn(2, 2)print(loss)print(loss[1,1])print(loss[1,1].item())

输出结果

tensor([[-2.0274, -1.5974],         [-1.4775,  1.9320]]) tensor(1.9320) 1.9319512844085693

其它:loss = criterion(out, label) loss_sum += loss # <--- 这里

运行着就发现显存炸了,观察发现随着每个batch显存消耗在不断增大…因为输出的loss的数据类型是Variable。PyTorch的动态图机制就是通过Variable来构建图。主要是使用Variable计算的时候,会记录下新产生的Variable的运算符号,在反向传播求导的时候进行使用。如果这里直接将loss加起来,系统会认为这里也是计算图的一部分,也就是说网络会一直延伸变大,那么消耗的显存也就越来越大。

loss.item()用法和注意事项详解(loss for)

正确的loss一般是这样写 

loss_sum += loss.data[0]

其它注意事项:

使用loss += loss.detach()来获取不需要梯度回传的部分。

使用loss.item()直接获得对应的python数据类型。

补充阅读,pytorch 计算图

Pytorch的计算图由节点和边组成,节点表示张量或者Function,边表示张量和Function之间的依赖关系。

Pytorch中的计算图是动态图。这里的动态主要有两重含义。

第一层含义是:计算图的正向传播是立即执行的。无需等待完整的计算图创建完毕,每条语句都会在计算图中动态添加节点和边,并立即执行正向传播得到计算结果。

第二层含义是:计算图在反向传播后立即销毁。下次调用需要重新构建计算图。如果在程序中使用了backward方法执行了反向传播,或者利用torch.autograd.grad方法计算了梯度,那么创建的计算图会被立即销毁,释放存储空间,下次调用需要重新创建。

1,计算图的正向传播是立即执行的。

import torchw = torch.tensor([[3.0,1.0]],requires_grad=True)b = torch.tensor([[3.0]],requires_grad=True)X = torch.randn(10,2)Y = torch.randn(10,1)Y_hat = X@w.t() + b # Y_hat定义后其正向传播被立即执行,与其后面的loss创建语句无关loss = torch.mean(torch.pow(Y_hat-Y,2))print(loss.data)print(Y_hat.data)tensor(17.8969)tensor([[3.2613], [4.7322], [4.5037], [7.5899], [7.0973], [1.3287], [6.1473], [1.3492], [1.3911], [1.2150]])

2,计算图在反向传播后立即销毁。

import torchw = torch.tensor([[3.0,1.0]],requires_grad=True)b = torch.tensor([[3.0]],requires_grad=True)X = torch.randn(10,2)Y = torch.randn(10,1)Y_hat = X@w.t() + b # Y_hat定义后其正向传播被立即执行,与其后面的loss创建语句无关loss = torch.mean(torch.pow(Y_hat-Y,2))#计算图在反向传播后立即销毁,如果需要保留计算图, 需要设置retain_graph = Trueloss.backward() #loss.backward(retain_graph = True) #loss.backward() #如果再次执行反向传播将报错

参考链接:pytorch学习:loss为什么要加item()_dlvector的博客-CSDN博客_loss.item()

https://blog.csdn.net/cs111211/article/details/126221102

本文链接地址:https://www.jiuchutong.com/zhishi/298517.html 转载请保留说明!

上一篇:神经网络模型之BP算法及实例分析(神经网络模型是干嘛的)

下一篇:UNIAPP手机号一键登录(uniapp获取手机通讯录)

  • 商品房销售税率10%执行时间
  • 土地价值计入房产税文件
  • 税控盘是什么东西多少钱
  • 年度企业所得税会计分录怎么做
  • 个税要计提吗?
  • 公户的钱能买股票怎么处理
  • 出口退税三类企业指什么意思
  • 月初没报税可以领发票吗
  • 个体如何申请电子公章流程
  • 政府回购土地免税政策
  • 做账一定要银行对账单吗
  • 刚成立的公司没有营业额怎么报税
  • 企业其他综合收益减少应该怎么处理
  • 事业单位缴纳增值税标准
  • 养老险的基数
  • 行政单位工资支出标准
  • 技术转让费怎么定价
  • 借款可以转注资款吗
  • 个人开具工程款发票所得税怎么算
  • 非正常损失对应的进项税额
  • 劳务派遣劳务费发票怎么开
  • 检测费专用增值税的税票税率
  • 问答技巧例子
  • 外埠纳税人经营地报验登记税务管理论文
  • 小规模纳税人要做固定资产吗
  • 个人到财务挂账怎么做账
  • 工效挂钩企业工资税前扣除有何规定?
  • 期间费用率的意义
  • 盈余公积必须提折旧吗
  • 流动资产损毁报废收益
  • 特殊工种人身安全保险费可以扣除吗
  • 总包和分包是什么关系
  • 一般纳税人出售旧设备的税率
  • low是什么文件
  • avgcc32.exe进程是什么文件产生的 avgcc32进程信息查询
  • win7系统怎么设置最佳性能
  • php公众号
  • 生产型企业出口不是自己生产的东西
  • 可抵扣增值税有哪些
  • 以前年度进项转出分录
  • 共轭梯度法matlab代码
  • 税法折旧和会计折扣会计分录
  • 付款给个人
  • microsoft SQL server 2014可以删吗
  • 自产货物用于抵偿债务
  • 增值税专用发票几个点
  • 用公司名义买的东西送礼需要归还么
  • 期初金额是什么
  • 企业设置的坏账科目
  • 行政事业单位拨付给企业的财政补助款用交增值税吗
  • 进项税额转出再转入
  • 会计分录怎么用
  • 材料采购是什么会计要素
  • 多收钱退回去咋说
  • 新会计准则关于贷款损失准备
  • 非正常损失进项税额转出计算
  • 生产成本是费用要素吗
  • sql中存储过程的用法
  • ubuntu中怎么安装vscode
  • 局域网 下载
  • 在linux操作系统中,/etc/rc.d/init.d
  • 随机产生10个数
  • mac vm安装win10
  • w10 2021年更新
  • scanexplicit.exe - scanexplicit是什么进程 作用是什么
  • win10系统怎么拦截广告弹窗
  • win7如何设置屏幕保护时间
  • Linux VPS中rar、unrar命令安装和使用详解
  • Win10桌面版红石预览版14295更新(修复)、已知问题及解决方案汇总
  • extjs DataReader、JsonReader、XmlReader的构造方法
  • dos脚本 菜鸟教程
  • Node.js中的事件循环是什么
  • android ui线程和主线程的区别
  • node.js 开发工具
  • python爬虫入门教程
  • python中的字符串常量
  • 工资6200要交多少个人所得税
  • 残疾人个人所得税减免政策
  • 所得税季度预缴,年度汇算清缴
  • 本期应纳税额怎么算
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设