位置: IT常识 - 正文

网络模型的参数量和FLOPs的计算 Pytorch(网络模型参数方法)

编辑:rootadmin
网络模型的参数量和FLOPs的计算 Pytorch

目录

1、torchstat 

2、thop

3、fvcore 

4、flops_counter

5、自定义统计函数


推荐整理分享网络模型的参数量和FLOPs的计算 Pytorch(网络模型参数方法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:网络模型的参数量是一层不变的吗,网络模型的参数设置,网络模型的参数是什么,网络模型参数量如何计算,网络模型的参数量,网络模型的参数是什么,网络模型的参数量是一层不变的吗,网络模型的参数有哪些,内容如对您有帮助,希望把文章链接给更多的朋友!

FLOPS和FLOPs的区别:

FLOPS:注意全大写,是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度。是一个衡量硬件性能的指标。FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。

在介绍torchstat包和thop包之前,先总结一下:

torchstat包可以统计卷积神经网络和全连接神经网络的参数和计算量。thop包可以统计统计卷积神经网络、全连接神经网络以及循环神经网络的参数和计算量,程序示例等详见下文。1、torchstat pip install torchstat -i https://pypi.tuna.tsinghua.edu.cn/simple

在实际操作中,我们可以调用torchstat包,帮助我们统计模型的parameters和FLOPs。如果不修改这个包里面的一些代码,那么这个包只适用于输入为3通道的图像的模型。

import torchimport torch.nn as nnfrom torchstat import statclass Simple(nn.Module): def __init__(self): super().__init__() self.conv1 = nn.Conv2d(3, 16, 3, 1, padding=1, bias=False) self.conv2 = nn.Conv2d(16, 32, 3, 1, padding=1, bias=False) def forward(self, x): x = self.conv1(x) x = self.conv2(x) return xmodel = Simple()stat(model, (3, 244, 244)) # 统计模型的参数量和FLOPs,(3,244,244)是输入图像的size

 如果把torchstat包中的一行程序进行一点点改动,那么这个包可以用来统计全连接神经网络的参数量和计算量。当然手动计算全连接神经网络的参数量和计算量也很快 =_= 。进入torchstat源代码之后,如下图所示,注释掉圈红的地方,就可以用torchstat包统计全连接神经网络的参数量和计算量了。

网络模型的参数量和FLOPs的计算 Pytorch(网络模型参数方法)

2、thoppip install thop -i https://pypi.tuna.tsinghua.edu.cn/simpleimport torchimport torch.nn as nnfrom thop import profileclass Simple(nn.Module): def __init__(self): super().__init__() self.fc1 = nn.Linear(10, 10) def forward(self, x): x = self.fc1(x) return xnet = Simple()input = torch.randn(1, 10) # batchsize=1, 输入向量长度为10macs, params = profile(net, inputs=(input, ))print(' FLOPs: ', macs*2) # 一般来讲,FLOPs是macs的两倍print('params: ', params)3、fvcore pip install fvcore -i https://pypi.tuna.tsinghua.edu.cn/simple

用它比较好

import torchfrom torchvision.models import resnet50from fvcore.nn import FlopCountAnalysis, parameter_count_table# 创建resnet50网络model = resnet50(num_classes=1000)# 创建输入网络的tensortensor = (torch.rand(1, 3, 224, 224),)# 分析FLOPsflops = FlopCountAnalysis(model, tensor)print("FLOPs: ", flops.total())# 分析parametersprint(parameter_count_table(model))

 终端输出结果如下,FLOPs为4089184256,模型参数数量约为25.6M(这里的参数数量和我自己计算的有些出入,主要是在BN模块中,这里只计算了beta和gamma两个训练参数,没有统计moving_mean和moving_var两个参数),具体可以看下我在官方提的issue。 通过终端打印的信息我们可以发现在计算FLOPs时并没有包含BN层,池化层还有普通的add操作(我发现计算FLOPs时并没有统一的规定,在github上看的计算FLOPs项目基本每个都不同,但计算出来的结果大同小异)。

注意:在使用fvcore模块计算模型的flops时,遇到了问题,记录一下解决方案。首先是在jit_analysis.py的589行出错。经过调试发现,op_counts.values()的类型是int32,但是计算要求的类型只能是int、float、np.float64和np.int64,因此需要手动进行强制转换。修改如下:

4、flops_counterpip install ptflops -i https://pypi.tuna.tsinghua.edu.cn/simple

用它也很好,结果和fvcore一样

from ptflops import get_model_complexity_infomacs, params = get_model_complexity_info(model, (112, 9, 9), as_strings=True, print_per_layer_stat=True, verbose=True)print('{:<30} {:<8}'.format('Computational complexity: ', macs))print('{:<30} {:<8}'.format('Number of parameters: ', params))

5、自定义统计函数import torchimport numpy as npdef calc_flops(model, input): def conv_hook(self, input, output): batch_size, input_channels, input_height, input_width = input[0].size() output_channels, output_height, output_width = output[0].size() kernel_ops = self.kernel_size[0] * self.kernel_size[1] * (self.in_channels / self.groups) * ( 2 if multiply_adds else 1) bias_ops = 1 if self.bias is not None else 0 params = output_channels * (kernel_ops + bias_ops) flops = batch_size * params * output_height * output_width list_conv.append(flops) def linear_hook(self, input, output): batch_size = input[0].size(0) if input[0].dim() == 2 else 1 num_steps = input[0].size(0) weight_ops = self.weight.nelement() * (2 if multiply_adds else 1) bias_ops = self.bias.nelement() if self.bias is not None else 0 flops = batch_size * (weight_ops + bias_ops) flops *= num_steps list_linear.append(flops) def fsmn_hook(self, input, output): batch_size = input[0].size(0) if input[0].dim() == 2 else 1 weight_ops = self.filter.nelement() * (2 if multiply_adds else 1) num_steps = input[0].size(0) flops = num_steps * weight_ops flops *= batch_size list_fsmn.append(flops) def gru_cell(input_size, hidden_size, bias=True): total_ops = 0 # r = \sigma(W_{ir} x + b_{ir} + W_{hr} h + b_{hr}) \\ # z = \sigma(W_{iz} x + b_{iz} + W_{hz} h + b_{hz}) \\ state_ops = (hidden_size + input_size) * hidden_size + hidden_size if bias: state_ops += hidden_size * 2 total_ops += state_ops * 2 # n = \tanh(W_{in} x + b_{in} + r * (W_{hn} h + b_{hn})) \\ total_ops += (hidden_size + input_size) * hidden_size + hidden_size if bias: total_ops += hidden_size * 2 # r hadamard : r * (~) total_ops += hidden_size # h' = (1 - z) * n + z * h # hadamard hadamard add total_ops += hidden_size * 3 return total_ops def gru_hook(self, input, output): batch_size = input[0].size(0) if input[0].dim() == 2 else 1 if self.batch_first: batch_size = input[0].size(0) num_steps = input[0].size(1) else: batch_size = input[0].size(1) num_steps = input[0].size(0) total_ops = 0 bias = self.bias input_size = self.input_size hidden_size = self.hidden_size num_layers = self.num_layers total_ops = 0 total_ops += gru_cell(input_size, hidden_size, bias) for i in range(num_layers - 1): total_ops += gru_cell(hidden_size, hidden_size, bias) total_ops *= batch_size total_ops *= num_steps list_lstm.append(total_ops) def lstm_cell(input_size, hidden_size, bias): total_ops = 0 state_ops = (input_size + hidden_size) * hidden_size + hidden_size if bias: state_ops += hidden_size * 2 total_ops += state_ops * 4 total_ops += hidden_size * 3 total_ops += hidden_size return total_ops def lstm_hook(self, input, output): batch_size = input[0].size(0) if input[0].dim() == 2 else 1 if self.batch_first: batch_size = input[0].size(0) num_steps = input[0].size(1) else: batch_size = input[0].size(1) num_steps = input[0].size(0) total_ops = 0 bias = self.bias input_size = self.input_size hidden_size = self.hidden_size num_layers = self.num_layers total_ops = 0 total_ops += lstm_cell(input_size, hidden_size, bias) for i in range(num_layers - 1): total_ops += lstm_cell(hidden_size, hidden_size, bias) total_ops *= batch_size total_ops *= num_steps list_lstm.append(total_ops) def bn_hook(self, input, output): list_bn.append(input[0].nelement()) def relu_hook(self, input, output): list_relu.append(input[0].nelement()) def pooling_hook(self, input, output): batch_size, input_channels, input_height, input_width = input[0].size() output_channels, output_height, output_width = output[0].size() kernel_ops = self.kernel_size * self.kernel_size bias_ops = 0 params = output_channels * (kernel_ops + bias_ops) flops = batch_size * params * output_height * output_width list_pooling.append(flops) def foo(net): childrens = list(net.children()) if not childrens: print(net) if isinstance(net, torch.nn.Conv2d) or isinstance(net, torch.nn.ConvTranspose2d): net.register_forward_hook(conv_hook) # print('conv_hook_ready') if isinstance(net, torch.nn.Linear): net.register_forward_hook(linear_hook) # print('linear_hook_ready') if isinstance(net, torch.nn.BatchNorm2d): net.register_forward_hook(bn_hook) # print('batch_norm_hook_ready') if isinstance(net, torch.nn.ReLU) or isinstance(net, torch.nn.PReLU): net.register_forward_hook(relu_hook) # print('relu_hook_ready') if isinstance(net, torch.nn.MaxPool2d) or isinstance(net, torch.nn.AvgPool2d): net.register_forward_hook(pooling_hook) # print('pooling_hook_ready') if isinstance(net, torch.nn.LSTM): net.register_forward_hook(lstm_hook) # print('lstm_hook_ready') if isinstance(net, torch.nn.GRU): net.register_forward_hook(gru_hook) # if isinstance(net, FSMNZQ): # net.register_forward_hook(fsmn_hook) # print('fsmn_hook_ready') return for c in childrens: foo(c) multiply_adds = False list_conv, list_bn, list_relu, list_linear, list_pooling, list_lstm, list_fsmn = [], [], [], [], [], [], [] foo(model) _ = model(input) total_flops = (sum(list_conv) + sum(list_linear) + sum(list_bn) + sum(list_relu) + sum(list_pooling) + sum( list_lstm) + sum(list_fsmn)) fsmn_flops = (sum(list_fsmn) + sum(list_linear)) lstm_flops = sum(list_lstm) model_parameters = filter(lambda p: p.requires_grad, model.parameters()) params = sum([np.prod(p.size()) for p in model_parameters]) print('The network has {} params.'.format(params)) print(total_flops, fsmn_flops, lstm_flops) print(' + Number of FLOPs: %.2f M' % (total_flops / 1000 ** 2)) return total_flopsif __name__ == '__main__': from torchvision.models import resnet18 model = resnet18(num_classes=1000) imput_size = torch.rand((1,3,224,224)) calc_flops(model, imput_size)

本文链接地址:https://www.jiuchutong.com/zhishi/299382.html 转载请保留说明!

上一篇:c++STL急急急(c++stl详解)

下一篇:40个web前端实战项目,练完即可就业,从入门到进阶,基础到框架,html_css【附视频+源码】(web前端视频教程全套)

  • 电脑关机慢如何设置(电脑关机慢怎么办)(电脑关机很慢很慢)

    电脑关机慢如何设置(电脑关机慢怎么办)(电脑关机很慢很慢)

  • 小米平板5超级壁纸怎么设置(小米平板超级壁纸怎么不见了)

    小米平板5超级壁纸怎么设置(小米平板超级壁纸怎么不见了)

  • 中国移动黄金会员怎么退订(中国移动黄金会员权益怎么领取)

    中国移动黄金会员怎么退订(中国移动黄金会员权益怎么领取)

  • 苹果怎么显示网速多少(苹果怎么显示网络数据)

    苹果怎么显示网速多少(苹果怎么显示网络数据)

  • 小红书观看的历史记录在哪里(小红书观看的历史记录怎么删除)

    小红书观看的历史记录在哪里(小红书观看的历史记录怎么删除)

  • 菜鸟极速是什么(菜鸟极速是干什么用的)

    菜鸟极速是什么(菜鸟极速是干什么用的)

  • 美图秀秀总是显示没有网络(美图秀秀为什么)

    美图秀秀总是显示没有网络(美图秀秀为什么)

  • 华为员工买手机有内部价吗(华为员工买手机有内部直购吗)

    华为员工买手机有内部价吗(华为员工买手机有内部直购吗)

  • 苹果8多大尺寸外观(苹果8plus多大尺寸)

    苹果8多大尺寸外观(苹果8plus多大尺寸)

  • 快手小店pid是什么(快手小店pid是什么意思怎么绑定)

    快手小店pid是什么(快手小店pid是什么意思怎么绑定)

  • realtek是什么(realtekdigital)

    realtek是什么(realtekdigital)

  • 微信删了好友对方列表里还有我吗(微信删了好友对方有显示吗)

    微信删了好友对方列表里还有我吗(微信删了好友对方有显示吗)

  • e31220配什么主板(e31220用什么主板好)

    e31220配什么主板(e31220用什么主板好)

  • 笔记本电脑发送键是那个(笔记本电脑发送键)

    笔记本电脑发送键是那个(笔记本电脑发送键)

  • 微信号封了对个人有什么影响(如果微信号封了还可以聊天吗)

    微信号封了对个人有什么影响(如果微信号封了还可以聊天吗)

  • 计算机网络系统是一个什么系统(计算机网络系统按其覆盖范围可分成三类)

    计算机网络系统是一个什么系统(计算机网络系统按其覆盖范围可分成三类)

  • 苹果11烫手怎么回事(苹果11烫手怎么解决)

    苹果11烫手怎么回事(苹果11烫手怎么解决)

  • 魅族m882q叫什么型号(魅族m822q是什么手机)

    魅族m882q叫什么型号(魅族m822q是什么手机)

  • 电脑连电视的线叫什么(电脑主机连接电视用什么线)

    电脑连电视的线叫什么(电脑主机连接电视用什么线)

  • 学生电源电压是多少(学生电源电压是交流还是直流)

    学生电源电压是多少(学生电源电压是交流还是直流)

  • ipad更新后开不了机怎么回事(ipad更新后不能开机怎么办)

    ipad更新后开不了机怎么回事(ipad更新后不能开机怎么办)

  • 怎么把音乐分享到陌陌(怎么把音乐分享到状态)

    怎么把音乐分享到陌陌(怎么把音乐分享到状态)

  • oppo手机通话记录不显示怎么回事(oppo手机通话记录怎么恢复)

    oppo手机通话记录不显示怎么回事(oppo手机通话记录怎么恢复)

  • 怎样关闭耗电应用(怎样关闭消耗电量的应用)

    怎样关闭耗电应用(怎样关闭消耗电量的应用)

  • defaultuser0是什么(defaultusee0)

    defaultuser0是什么(defaultusee0)

  • iphone6蓝牙信号修复(苹果6蓝牙信号不好)

    iphone6蓝牙信号修复(苹果6蓝牙信号不好)

  • 本本拆卸技巧与注意事项(轻薄本拆卸)

    本本拆卸技巧与注意事项(轻薄本拆卸)

  • reset命令  设定终端机的状态(reset=target)

    reset命令 设定终端机的状态(reset=target)

  • 财务人员办理会计业务
  • 土地摊销账务处理
  • 税务处理决定书与税务处罚决定书
  • 不征税发票需要预缴税款吗
  • 冲红发票怎么写备注
  • 电子发票如何发给用截图发送可以吗?
  • 行政单位发过节费违法吗
  • 只有税控盘没有报税盘
  • 支付宝已经支付的钱怎么退回来
  • 小规模纳税人怎么判断
  • 事业单位退休人员独生子女费如何发放
  • 发票复印件能报账吗
  • 远程清卡显示清卡失败,证书已挂失怎么回事
  • 建筑企业财务制度及规范流程
  • 企业创业初期能干什么
  • 换账套期初数怎么填
  • 中小企业社保优惠延长政策
  • 年金的缴费基数
  • 预交增值税后如何处理
  • 财付通转出的钱能还回来吗
  • 企业利润表中营业收入在资产负债表中有勾千盾关系吗
  • 发票勾选了是否就抵扣了
  • 企业收取的延期付款利息需要征消费税和增值税
  • .net 安装
  • win10如何关闭自动修复
  • guest的作用
  • 技术合同指什么
  • 虚拟机怎么安装gcc
  • bios怎么恢复出厂设置会怎么样
  • 台式机装win10哪个版本好
  • 医院的重要
  • 转让土地使用权的条件是什么
  • 大雾山国家公园总部加特林堡
  • node.js最新版本
  • 珀泽申群岛上的阿德利企鹅,南极洲 (© Tui De Roy/Minden Pictures)
  • 企业办理税务
  • php有多简单
  • 优化in
  • ip a命令详解
  • discuz论坛安装步骤
  • 支付中介费和物业费比例
  • 增值税普通发票税率
  • 企业可以收付实现制记账吗
  • php5.2漏洞
  • 出口退税还需要交企业所得税吗
  • phpcms使用教程
  • 海关进口增值税专用缴款书如何抵扣
  • 残疾人就业保障金是什么意思啊
  • 待摊费用属于企业的债权
  • mysql Event Scheduler: Failed to open table mysql.event
  • 个税征税对象包括哪些
  • 资产负债表多久编制一次
  • 财务专用章是干嘛用的
  • 消费税也是流转税吗
  • 增值税期末留抵税额是什么意思
  • 可供出售金融资产属于什么科目
  • 固定资产清理贷方余额是什么意思
  • 其他综合收益属于什么科目借贷
  • 进项税和销项税抵扣的会计分录
  • 房地产开发企业建造的商品房,在出售前
  • 收回投标保证金 建立台账
  • win8.1 开机进桌面
  • Windows Server 2008故障转移群集简介
  • ubuntu20.04怎么安装
  • imessage对方看了会显示已读吗
  • linux lv扩容
  • ubuntu操作系统入门
  • hpl是什么文件
  • npssvc.exe - npssvc是什么进程 有什么用
  • perl -i -pe
  • unity游戏开发的技术路线有哪些
  • nodejs esmodule
  • unity3d快速入门
  • java arraysort
  • jquery往对象添加元素
  • js变量作用域
  • 税务举报可以撤销么?
  • 中国农村信用社手机银行下载app
  • 企业所得税季度申报表填报说明
  • 车辆购置税非本人可以代缴吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设