位置: IT常识 - 正文

FCN全卷积网络理解及代码实现(来自pytorch官方实现)(全卷积网络fcn详解)

编辑:rootadmin
FCN全卷积网络理解及代码实现(来自pytorch官方实现)

推荐整理分享FCN全卷积网络理解及代码实现(来自pytorch官方实现)(全卷积网络fcn详解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:全局卷积,全卷积网络(fcn)与图像分割,全局卷积,fcn全卷积神经网络搭建,什么是全卷积网络,fcn全卷积神经网络搭建,fcn全卷积神经网络搭建,全卷积网络fcn详解,内容如对您有帮助,希望把文章链接给更多的朋友!

视频链接:https://www.bilibili.com/video/BV1J3411C7zd?vd_source=a0d4f7000e77468aec70dc618794d26f 代码:https://github.com/WZMIAOMIAO/deep-learning-for-image-processing

FCN是2015年提出的首个端对端的针对像素级预测的全卷积网络。 如今的pytorch实现的FCN都是基于ResNet-50的backbone,不是论文中的VGG16,且使用的是空洞卷积(也叫膨胀卷积)

pytorch官方实现的FCN网络结构图

博主github:https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/pytorch_segmentation/fcn

一、相比以前网络的巨大提升:

二、传统使用池化层最后得到的其实是一个长度为1000的向量:

而换为卷积层之后,最后得到的是1000通道的2D图像,可以可视化为heat map图。

三、回顾VGG16

一般说的vgg16是D: 全连接操作前后:77512(通道)

【假设忽略偏置】\color{red}{【假设忽略偏置】}【假设忽略偏置】 全连接FC1计算:计算对应某一个结点的输出,将该节点与上一层某一个结点的权重与输入对应节点数值相乘,再求和

FC1参数:25088*4096=102760448

下层使用7*7的卷积核、stride=1,4096个卷积核的一个卷积层

Conv参数:77512*4096=102760448

一个卷积核和FC1一个节点参数量一样\color{red}{一个卷积核和FC1一个节点参数量一样}一个卷积核和FC1一个节点参数量一样,一共4096个卷积核,FC也是4096个节点。

【不忽略偏置的正常卷积操作,4096个卷积核应该有4096个偏置项】\color{red}{【不忽略偏置的正常卷积操作,4096个卷积核应该有4096个偏置项】}【不忽略偏置的正常卷积操作,4096个卷积核应该有4096个偏置项】

PS:全连接层

全连接层的输入是一维数组,多维数组需先进行Flatten进行一维化处理,然后连接全连接层。全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来。由于其全相连的特性,一般全连接层的参数也是最多的。全连接图结构如下: 其中,x1、x2、x3为全连接层的输入,a1、a2、a3为输出,有

全连接层参数计算

权值参数=输入一维数组大小*全连接层输出结点数 偏置参数b=全连接层输出结点数

eg: 输入有[5044]个神经元结点,输出有500个结点,则一共需要5044*500=400000个权值参数W和500个偏置参数b

卷积和全连接层

卷积跟全连接都是一个点乘的操作,区别在于卷积是作用在一个局部的区域,而全连接是对于整个输入而言,那么只要把卷积作用的区域扩大为整个输入,那就变成全连接了,我就不给出形式化定义了。所以我们只需要把卷积核变成跟输入的一个map的大小一样就可以了,这样的话就相当于使得卷积跟全连接层的参数一样多。 eg:输入是224x224x3 的图像,假设经过变换之后最后一层是[7x7x512]的,那么传统的方法应该将其展平成为一个7x7x512长度的一层,然后做全连接层,假设全连接层为4096×1000层的(假设有1000个分类结果)。 那么用1×1卷积核怎么做呢,因为1×1卷积核相当于在不同channel之间做线性变换,所以:

先选择7×7的卷积核,输出层特征层数为4096层,这样得到一个[1×1×4096]层的 然后再选择用1×1卷积核,输出层数为1000层,这样得到一个[1×1×1000]层这样就搞定了。

四、FCN-32s、16s、8s的区别

上采样倍率为32的模型对应的就是FCN-32s,16s、8s同理。

FCN-32s

FCN原论文中backbone的第一个卷积层padding=100,为了防止图片过小(例如192192)后面的卷积层会报错。 如果图片小于3232的话在卷积过程就会报错。 但是没必要设置,只要输入图片大小大于32*32,我们就可以将padding设置为3。 对于FCN-32s:

vgg16 backbone输出的特征图大小就为h/32,w/32,512。高度宽度变为原图的1/32。

之后经过FC6层:由于我们将FC6卷积层的padding设置为3、卷积核大小7*7,通过FC6之后将不会改变特征图的高和宽;且我们使用了4096个卷积核,所以这里就得到了4096个2D特征图。

FCN全卷积网络理解及代码实现(来自pytorch官方实现)(全卷积网络fcn详解)

经过FC7:使用了1*1大小的卷积核,步距也为1,所以输出特征图shape也不会发生变化。

之后经过卷积核大小为1*1的卷积层:它的卷积核的个数和我们的分类类别数一样(包含背景,对于voc为20类+1背景),将特征图通道数变为num_cls。

之后通过一个转置卷积:这里的s32我们会将特征图上采样32倍【原论文中使用的是双线性插值】,得到特征图大小变为h,w,num_cls。

之后特征图经过一个softmax处理就能得到针对每一个pixel的预测类别。 前面的backbone使用的是vgg16的预训练权重,整个结构十分简单,但是效果还是非常不错的。 其实这里的转置卷积在原论文中其实是将参数给冻结住了,冻结住意味着其实它就是一个简单的双线性卷积了。

所以这里其实可以不使用转置卷积,可以直接使用深度学习框架提供给我们的双线性插值方法。

为什么会冻结呢?作者说冻结不冻结作者觉得结果好像没有什么差别,而且冻结参数会少一些。up主觉得冻结不冻节效果一般的原因是这里的上采样倍率太大了,有点强人所难的感觉。有兴趣的可以看一下u-net中的上采样率是多少。

FCN-16s

FC6、FC7、Conv2d核32s的一样。 不同点:

转置卷积上采样率变为了2倍,之后高和宽变为1/16下面分支经过maxpool4之后变也为1/16,通道数为512;后接上了一个1*1卷积、卷积核数量为num_cls、步长为1,得到特征图大小1/16、通道数变为num_cls之后进行一个相加操作,转置卷积上采样16倍就得到了原图大小h,w,num_cls

【FCN−16s中融合了来自maxpool4的信息】\color{red}{【FCN-16s中融合了来自maxpool4的信息】}【FCN−16s中融合了来自maxpool4的信息】

须知:vgg16经过mxpool3之后特征图大小下采样率为8,经过maxpool4后下采样率为16。

FCN-8s

不同点:

8s还利用了来自于mxpool3的信息,经过16s类似的1*1卷积层后得到一个1/8,通道数为num_cls的特征图;FCN-16s上两层后得到的1/16特征图,经过一个转置卷积上采样,采样率为2倍就能得到一个和maxpool3输出尺寸一样的1/8的特征图一块进行一个相同位置元素的相加操作【进一步的融合】,最后进行一个上采样倍率为8的转置卷积就能得到一个和原图大小一样的特征图大小h,w,num_cls。

【由此可见,FCN−16s和FCN−8s融合了一个底层的信息;而FCN32s是最简单的,它没有融合底层信息】\color{red}{【由此可见,FCN-16s和FCN-8s融合了一个底层的信息;而FCN32s是最简单的,它没有融合底层信息】}【由此可见,FCN−16s和FCN−8s融合了一个底层的信息;而FCN32s是最简单的,它没有融合底层信息】在网上看到最多的是FCN-32的实现。

五、损失计算

针对每一个pixel都会去计算它所对应的一个Cross Entropy Loss,然后将所有pixel的交叉熵损失进行一个求平均操作就得到了一个我们网络的最终的一个损失

六、语义分割评价指标

见前言:语义分割前沿

七、代码实现

ResNet-50中先经过conv1 7*7的一个卷积

conv_2:3*3的一个最大池化下采样,再接上3个残差块(对应右图layer1)conv_3:4个残差块(对应layer2)

不同的地方:\color{red}{不同的地方:}不同的地方:

layer3:这里也有6个残差结构,1个Bottleneck1+5个Bottleneck2layer4:3个残差结构,1个Bottleneck1+2个Bottleneck2

Bottleneck1:

将残差连接的2*2卷积层步距改为1,原来resnet这个分支会进行一个下采样将高和宽缩短为一半,【这里因为语义分割中下采样倍率过大的话,再还原成原图后,这里的效果其实会受影响,所以我们这里就没有必要再做一个下采样了。】

此外主干分支3*3卷积的步距也从2改为了1,同时引入了r参数,即膨胀系数。

Bottleneck2: 接下来通过FCN Head模块:33卷积层缩小通道为原来的1/4【2048-512】,再通过一个dropout和一个11卷积层,这里11卷积层调整特征层的channel为分割类别中的类别个数。 最后经过双线性插值还原特征图大小到原图。【图例:输入480480,上采样也到480*480】

layer3中引出的一条FCN Head,官方回答:为了防止误差梯度没法传递到网络浅层,这里就引入了一个辅助分类器。和google net中辅助分类器是差不多的。 训练的时候是可以使用辅助分类器件的【可用可不用,都可以试一下】,但是最后去预测或者部署到正式环境的时候只用主干的output,不用aux output。 up主的代码地址:https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/pytorch_segmentation/fcn

本文链接地址:https://www.jiuchutong.com/zhishi/298954.html 转载请保留说明!

上一篇:Swagger-的使用(详细教程)

下一篇:Vue中created和mounted详解(vue中created和mounted)

  • 华为gt3pro怎么开通微信消息通知(华为gt3pro怎么开启nfc)

    华为gt3pro怎么开通微信消息通知(华为gt3pro怎么开启nfc)

  • 小米智能门锁怎么换电池(小米智能门锁怎么连接wifi)

    小米智能门锁怎么换电池(小米智能门锁怎么连接wifi)

  • 陌陌黑名单里怎么拉出来(陌陌黑名单里怎么找不到解除)

    陌陌黑名单里怎么拉出来(陌陌黑名单里怎么找不到解除)

  • 拼多多旗舰店押金多少(拼多多旗舰店押金表)

    拼多多旗舰店押金多少(拼多多旗舰店押金表)

  • 苹果xr怎么清理手机缓存垃圾(苹果xr怎么清理手机垃圾)

    苹果xr怎么清理手机缓存垃圾(苹果xr怎么清理手机垃圾)

  • 小米8手机收音机在哪里(小米手机收音声音小)

    小米8手机收音机在哪里(小米手机收音声音小)

  • 魅族16生产日期(魅族16th出厂日期查询)

    魅族16生产日期(魅族16th出厂日期查询)

  • 手机2g怎么调回4g(手机2g怎么调回4g网络)

    手机2g怎么调回4g(手机2g怎么调回4g网络)

  • 充电线5a和3a有什么区别(5a充电线和3a充电线哪个好)

    充电线5a和3a有什么区别(5a充电线和3a充电线哪个好)

  • 红米note7pro多少w快充(红米note7pro多少瓦快充)

    红米note7pro多少w快充(红米note7pro多少瓦快充)

  • 苹果11pro屏幕发黄(苹果11pro屏幕发白)

    苹果11pro屏幕发黄(苹果11pro屏幕发白)

  • 八代i5和十代i5的区别(八代i5和十代i5哪个好)

    八代i5和十代i5的区别(八代i5和十代i5哪个好)

  • 手机为什么突然不能投屏到电视了(手机为什么突然没有声音了)

    手机为什么突然不能投屏到电视了(手机为什么突然没有声音了)

  • ps如何做菱形(ps如何做菱形背景)

    ps如何做菱形(ps如何做菱形背景)

  • 让oppo手机强制关机(如何让oppo手机强制关机?)

    让oppo手机强制关机(如何让oppo手机强制关机?)

  • 一加7T Pro怎么关闭振动(一加7pro如何关闭volte)

    一加7T Pro怎么关闭振动(一加7pro如何关闭volte)

  • ios13信号有改善吗(ios13信号差解决办法)

    ios13信号有改善吗(ios13信号差解决办法)

  • 华为nova5pro卡槽怎么取出(华为nova5pro卡槽弹不出来)

    华为nova5pro卡槽怎么取出(华为nova5pro卡槽弹不出来)

  • 滴滴车龄超六年怎么办(滴滴出行车龄超六年怎样)

    滴滴车龄超六年怎么办(滴滴出行车龄超六年怎样)

  • 外置声卡连接手机录歌(外置声卡连接手机直播)

    外置声卡连接手机录歌(外置声卡连接手机直播)

  • 小米8怎么隐藏保存视频(小米8怎么隐藏照片)

    小米8怎么隐藏保存视频(小米8怎么隐藏照片)

  • oppor11s私密相册在哪(oppor11s手机私密相册怎么找到)

    oppor11s私密相册在哪(oppor11s手机私密相册怎么找到)

  • iphone怎么转移数据(iphone怎么转移数据到新手机)

    iphone怎么转移数据(iphone怎么转移数据到新手机)

  • 最好最实用的织梦二次开发教程(最好最实用的织毛线)

    最好最实用的织梦二次开发教程(最好最实用的织毛线)

  • 增值税为什么不重复征税
  • 平台怎么搞
  • 核定征收企业股权转让的个人所得税
  • 增值税减免税申报明细表免税代码和名称
  • 企业捐赠灾区
  • 咨询费计入什么明细科目
  • 银行开户费用计入
  • 小企业会计准则会计科目表
  • 土地增值税征收范围包括
  • 销售旧房不能取得评估价格
  • 出纳需要填哪些表
  • 公益机构可以收费吗
  • 租赁收入无发票怎么做账
  • 收到老板给的购房发票
  • 预收货款属于资金投入吗
  • 所得税申报错了扣款了怎么办
  • 增值税留抵税额账务处理
  • 工程款开票备注栏
  • 高新技术企业退税比例是多少
  • 简易计税可以抵扣销项税吗
  • 维修费属于哪个类别
  • 红字发票如果开多了下个月能进行抵扣么?
  • 最新消费税税目顺口溜
  • 上年度所得税费用又退回来了,如何做账
  • 公司用自己的设备投资怎么交税呢怎么做账
  • 免租期间房产税计税依据
  • 私账的钱怎么弄到公账
  • 往公户存钱怎么存最划算
  • 当前页面的脚本发生错误代码0没有注册类
  • 已付货款没有发票能做支出吗
  • 在建工程进项税额转出
  • 增值税跟企业所得税的关系
  • 路由器重启后电视放不出来咋办
  • thinkphp ide
  • laravel基础
  • vue 查询
  • php 正则
  • 债权投资利息调整属于什么科目?
  • php如何调用类
  • php功能模块
  • nn.lstm输出
  • 面试题集锦
  • 个体户个人所得税税率表2023计算
  • 保险公司工伤怎么赔付
  • SQL 2005 ERROR:3145 解决办法(备份集中的数据库备份与现有的数据库不同)
  • db2运维命令
  • 公司贷款 利息
  • 可抵扣进项税有哪些项目
  • 记账金额怎么写
  • 去年购进的货物怎么做账
  • 企业注销清算报告模板
  • 国地税合并对个人带来的影响
  • 会计调整以前年度遗留问题查不出来说明怎么写
  • 未开票收入如何申报
  • 收到国税退税收怎么做账
  • 小规模纳税人的认定标准是什么
  • t3用友年底结束怎么建下一年
  • 企业利润率如何计算公式
  • 年度总预算一般在次年
  • sql server使用心得
  • mysql的基本介绍
  • mysql分页性能
  • windows 9x
  • win7 系统设置
  • win10安装固态硬盘打开软件卡
  • win8系统电脑没声音怎么办
  • linux系统
  • win8系统怎么重新安装系统
  • opengl怎么学
  • node javascript
  • JavaScript html5 canvas绘制时钟效果(二)
  • 深入理解中国式现代化
  • JavaScript mapreduce工作原理简析
  • jquery div innerhtml
  • 深入理解javascript特性
  • python切片菜鸟教程
  • jquery使用教程
  • 应税销售额如何计算
  • 国税湖南电子税务局官网
  • 税收政策对中小微企业的影响数据公式
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设