位置: IT常识 - 正文

【CVPR 2023】FasterNet论文详解(cvpr2020结果)

编辑:rootadmin
【CVPR 2023】FasterNet论文详解

推荐整理分享【CVPR 2023】FasterNet论文详解(cvpr2020结果),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:cvpr 2021 deadline,cvpr 2022 deadline,cvpr2021出结果,cvpr2021workshop,cvpr2020 accepted paper,cvpr21,cvpr21,cvpr21,内容如对您有帮助,希望把文章链接给更多的朋友!

论文名称:Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks

论文地址:https://arxiv.org/abs/2303.03667

作者发现由于效率低下的每秒浮点运算,每秒浮点运算的减少并不一定会导致类似水平的延迟减少。提出通过同时减少冗余计算和内存访问有效地提取空间特征。然后基于PConv进一步提出FasterNet,再准的基础上更快。

1. PConv【CVPR 2023】FasterNet论文详解(cvpr2020结果)

提出了一种简单的PConv,以同时减少计算冗余和内存访问。图4中的左下角说明了PConv的工作原理。它只需在输入通道的一部分上应用常规Conv进行空间特征提取,并保持其余通道不变。对于连续或规则的内存访问,将第一个或最后一个连续的通道视为整个特征图的代表进行计算。在不丧失一般性的情况下认为输入和输出特征图具有相同数量的通道。因此,PConv的FLOPs仅对于典型的r=1/4 ,PConv的FLOPs只有常规Conv的1/16。此外,PConv的内存访问量较小,即:对于r=1/4,其仅为常规Conv的1/4。

为了充分有效地利用来自所有通道的信息,进一步将逐点卷积(PWConv)附加到PConv。它们在输入特征图上的有效感受野看起来像一个T形Conv,与均匀处理补丁的常规Conv相比,它更专注于中心位置。

为了证明这个T形感受野的合理性,首先通过计算位置的Frobenius范数来评估每个位置的重要性。假设,如果一个职位比其他职位具有更大的Frobenius范数,则该职位往往更重要。对于正则Conv滤波器,位置处的Frobenius范数由计算,其中,作者认为一个显著位置是具有最大Frobenius范数的位置。然后,在预训练的ResNet18中集体检查每个过滤器,找出它们的显著位置,并绘制显著位置的直方图。图6中的结果表明,中心位置是过滤器中最常见的突出位置。换句话说,中心位置的权重比周围的更重。这与集中于中心位置的T形计算一致。虽然T形卷积可以直接用于高效计算,但作者表明,将T形卷积分解为PConv和PWConv更好,因为该分解利用了滤波器间冗余并进一步节省了FLOPs。

2. FasterNet

鉴于新型PConv和现成的PWConv作为主要的算子,进一步提出FasterNet,这是一个新的神经网络家族,运行速度非常快,对许多视觉任务非常有效。作者的目标是使体系结构尽可能简单,使其总体上对硬件友好。

在图4中展示了整体架构。它有4个层次级,每个层次级前面都有一个嵌入层(步长为4的常规4×4卷积)或一个合并层(步长为2的常规2×2卷积),用于空间下采样和通道数量扩展。每个阶段都有一堆FasterNet块。作者观察到,最后两个阶段中的块消耗更少的内存访问,并且倾向于具有更高的FLOPS,因此,放置了更多FasterNet块,并相应地将更多计算分配给最后两个阶段。每个FasterNet块有一个PConv层,后跟2个PWConv(或Conv 1×1)层。它们一起显示为倒置残差块,其中中间层具有扩展的通道数量,并且放置了Shorcut以重用输入特征。

标准化和激活层对于高性能神经网络也是不可或缺的。然而,许多先前的工作在整个网络中过度使用这些层,这可能会限制特征多样性,从而损害性能。它还可以降低整体计算速度。相比之下,只将它们放在每个中间PWConv之后,以保持特征多样性并实现较低的延迟。

使用批次归一化(BN)代替其他替代方法。BN的优点是,它可以合并到其相邻的Conv层中,以便更快地进行推断,同时与其他层一样有效。对于激活层,根据经验选择了GELU用于较小的FasterNet变体,而ReLU用于较大的FasterNet变体,同时考虑了运行时间和有效性。最后三个层,即全局平均池化、卷积1×1和全连接层,一起用于特征转换和分类。

本文链接地址:https://www.jiuchutong.com/zhishi/298426.html 转载请保留说明!

上一篇:深度学习:图像去雨网络实现Pytorch (二)一个简单实用的基准模型(PreNet)实现

下一篇:Vue3中的父传子和子传父如何实现(vue3父子传值)

  • 雷蛇键盘怎么切换灯光(雷蛇键盘怎么切换配置文件)

    雷蛇键盘怎么切换灯光(雷蛇键盘怎么切换配置文件)

  • 小米手环解锁手机怎么使用?(小米手环解锁手机距离设置)

    小米手环解锁手机怎么使用?(小米手环解锁手机距离设置)

  • 网易云音乐扫一扫在哪里(网易云音乐扫一扫在哪里安卓)

    网易云音乐扫一扫在哪里(网易云音乐扫一扫在哪里安卓)

  • 怎么让电脑不休眠(怎么让电脑不休眠不黑屏)

    怎么让电脑不休眠(怎么让电脑不休眠不黑屏)

  • 华为mate30pro手机的重量是多少(华为mate30pro手机壳)

    华为mate30pro手机的重量是多少(华为mate30pro手机壳)

  • 电脑屏幕有划痕怎么修复(电脑屏幕有划痕正常吗)

    电脑屏幕有划痕怎么修复(电脑屏幕有划痕正常吗)

  • OPPOR15手机相机的专业模式怎么用(oppor15手机相机拍照模糊不清什么原因)

    OPPOR15手机相机的专业模式怎么用(oppor15手机相机拍照模糊不清什么原因)

  • 抖音蓝v用户怎么改名(抖音蓝V用户怎么更换主页背景)

    抖音蓝v用户怎么改名(抖音蓝V用户怎么更换主页背景)

  • 抖音画质增强要不要开(抖音画质增强有什么用)

    抖音画质增强要不要开(抖音画质增强有什么用)

  • 钉钉退群有提示信息吗(钉钉退群为什么还会有显示)

    钉钉退群有提示信息吗(钉钉退群为什么还会有显示)

  • 用5g手机需要换手机卡吗(用5g手机需要换路由器吗)

    用5g手机需要换手机卡吗(用5g手机需要换路由器吗)

  • 无线局域网的特点包括(无线局域网的特点是安全性较差)

    无线局域网的特点包括(无线局域网的特点是安全性较差)

  • 交换机属于osi哪一层(交换机属于什么层的网络设备)

    交换机属于osi哪一层(交换机属于什么层的网络设备)

  • 转转拍卖保留价是什么意思(转转拍卖保证金是多少)

    转转拍卖保留价是什么意思(转转拍卖保证金是多少)

  • 苹果x手机怎么关机重启(苹果x手机怎么样值得入手吗)

    苹果x手机怎么关机重启(苹果x手机怎么样值得入手吗)

  • 苹果11关不了机是怎么回事(苹果11关不了机了怎么弄)

    苹果11关不了机是怎么回事(苹果11关不了机了怎么弄)

  • 计算机病毒 有哪些特点(计算机病毒有潜伏性吗)

    计算机病毒 有哪些特点(计算机病毒有潜伏性吗)

  • 荣耀9x升降寿命(荣耀x9是升降摄像头吗)

    荣耀9x升降寿命(荣耀x9是升降摄像头吗)

  • 荣耀手环3蓝牙怎么打开(荣耀手环3蓝牙关闭状态,怎么打开)

    荣耀手环3蓝牙怎么打开(荣耀手环3蓝牙关闭状态,怎么打开)

  • 天猫精灵智能音箱怎么用(天猫精灵智能音响哪个音质好)

    天猫精灵智能音箱怎么用(天猫精灵智能音响哪个音质好)

  • 华为p30录音在哪里(华为p30录音在哪里关闭)

    华为p30录音在哪里(华为p30录音在哪里关闭)

  • 手机上显示hd什么意思怎么关闭(手机显示hd什么)

    手机上显示hd什么意思怎么关闭(手机显示hd什么)

  • 怎样发抖音短视频(怎样发抖音短视频可以上热门)

    怎样发抖音短视频(怎样发抖音短视频可以上热门)

  • win7系统我的电脑文件选项不见了怎么办?(win7系统我的电脑图标不见了)

    win7系统我的电脑文件选项不见了怎么办?(win7系统我的电脑图标不见了)

  • BLINK AC1200U路由器怎么开启访客模式(ac1203路由器)

    BLINK AC1200U路由器怎么开启访客模式(ac1203路由器)

  • dedecms织梦内容页调用列表页标题和seo标题(织梦专题页模板)

    dedecms织梦内容页调用列表页标题和seo标题(织梦专题页模板)

  • 总分公司报税有哪些注意事项
  • 开票系统技术维护费怎么抵扣
  • 餐饮业税务申报
  • 加班餐费有发票怎么入账
  • 购买债券的利息会计分录
  • 员工交通费补贴标准
  • 账面上现金过多的税务风险
  • 月末哪些科目需要手动结转为成本
  • 融资租赁流程
  • 企业购买房产可以抵扣增值税吗
  • 所得税申报错了扣款了怎么办
  • 普通发票开票人为管理员是否可以报销?
  • 劳务派遣劳务费发票怎么开
  • 一般纳税人如何纳税申报
  • 专利技术使用权转让属于特许权使用费
  • 购入样品账务处理
  • 升级设备属于什么科目
  • 待抵扣进项税额转出会计分录
  • 采购费用应计入材料采购成本
  • 债务优化是做什么的工作
  • 税法中的视同行为如何开具发票
  • 现金日记账余额为零要怎么填
  • 企事业承包承租经营所得税税法
  • 政府的扶持资金是否缴税
  • 非常损失计入
  • won10搜索框
  • 借条无还款时间怎么办
  • 自己给笔记本更换硬盘
  • 逾期未申报如何申报
  • 房地产企业土地增值税预缴
  • 固定资产核销程序
  • 增值税专用发票有几联?
  • 如何解决php使用延迟问题
  • 退回的税控盘费用如何做会计分类
  • 采购材料尚未入库款未付的记账凭证
  • 烟花绽放的除夕夜题目
  • 为什么很多银行卡会被异地警方冻结
  • css伪类选择器怎么用
  • thinkphp函数有哪些
  • 网站更换域名后无法访问
  • 研发费用资本化计入什么科目
  • php判断ua
  • 织梦cms怎么样
  • 保险公司工伤怎么赔付
  • 个税申报系统累计收入怎么算
  • 个人劳务报酬所得税税率表
  • MySQL中使用命令行查看二进制文件
  • 附加税 减免
  • 商场收租户电费会计分录
  • 无形资产摊销怎么做记账凭证
  • 利润表的营业成本包括管理费用吗
  • 场地租赁费属于什么税收分类编码
  • 银行打对公回单
  • 如何理解现金折扣
  • 权益类会计科目有哪些科目
  • 工程担保属于什么
  • wpr02
  • windows modules installer worker
  • 微软9月补丁
  • 同一个用户
  • windowsxp停止服务的时间
  • qcwlicon.exe - qcwlicon是什么进程 有何作用
  • win7视频播放不了
  • Windows RT 8.1 Update 3九月发布 届时将加入改进版锁屏
  • windows10周年更新
  • win10通讯
  • win7浏览器怎么升级到最新版
  • android开发webview
  • shader要学多久
  • dos常用命令与批处理文件
  • Python安装包
  • 禁用javascript后果
  • jquery右击事件
  • 安卓模拟器比手机快吗
  • android drawpath
  • javascript总结
  • python里list
  • 深入python3
  • 增值税的进项税额转出是什么意思
  • 耕地占用税林地有减免吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设