位置: IT常识 - 正文

【CVPR 2023】FasterNet论文详解(cvpr2020结果)

编辑:rootadmin
【CVPR 2023】FasterNet论文详解

推荐整理分享【CVPR 2023】FasterNet论文详解(cvpr2020结果),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:cvpr 2021 deadline,cvpr 2022 deadline,cvpr2021出结果,cvpr2021workshop,cvpr2020 accepted paper,cvpr21,cvpr21,cvpr21,内容如对您有帮助,希望把文章链接给更多的朋友!

论文名称:Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks

论文地址:https://arxiv.org/abs/2303.03667

作者发现由于效率低下的每秒浮点运算,每秒浮点运算的减少并不一定会导致类似水平的延迟减少。提出通过同时减少冗余计算和内存访问有效地提取空间特征。然后基于PConv进一步提出FasterNet,再准的基础上更快。

1. PConv【CVPR 2023】FasterNet论文详解(cvpr2020结果)

提出了一种简单的PConv,以同时减少计算冗余和内存访问。图4中的左下角说明了PConv的工作原理。它只需在输入通道的一部分上应用常规Conv进行空间特征提取,并保持其余通道不变。对于连续或规则的内存访问,将第一个或最后一个连续的通道视为整个特征图的代表进行计算。在不丧失一般性的情况下认为输入和输出特征图具有相同数量的通道。因此,PConv的FLOPs仅对于典型的r=1/4 ,PConv的FLOPs只有常规Conv的1/16。此外,PConv的内存访问量较小,即:对于r=1/4,其仅为常规Conv的1/4。

为了充分有效地利用来自所有通道的信息,进一步将逐点卷积(PWConv)附加到PConv。它们在输入特征图上的有效感受野看起来像一个T形Conv,与均匀处理补丁的常规Conv相比,它更专注于中心位置。

为了证明这个T形感受野的合理性,首先通过计算位置的Frobenius范数来评估每个位置的重要性。假设,如果一个职位比其他职位具有更大的Frobenius范数,则该职位往往更重要。对于正则Conv滤波器,位置处的Frobenius范数由计算,其中,作者认为一个显著位置是具有最大Frobenius范数的位置。然后,在预训练的ResNet18中集体检查每个过滤器,找出它们的显著位置,并绘制显著位置的直方图。图6中的结果表明,中心位置是过滤器中最常见的突出位置。换句话说,中心位置的权重比周围的更重。这与集中于中心位置的T形计算一致。虽然T形卷积可以直接用于高效计算,但作者表明,将T形卷积分解为PConv和PWConv更好,因为该分解利用了滤波器间冗余并进一步节省了FLOPs。

2. FasterNet

鉴于新型PConv和现成的PWConv作为主要的算子,进一步提出FasterNet,这是一个新的神经网络家族,运行速度非常快,对许多视觉任务非常有效。作者的目标是使体系结构尽可能简单,使其总体上对硬件友好。

在图4中展示了整体架构。它有4个层次级,每个层次级前面都有一个嵌入层(步长为4的常规4×4卷积)或一个合并层(步长为2的常规2×2卷积),用于空间下采样和通道数量扩展。每个阶段都有一堆FasterNet块。作者观察到,最后两个阶段中的块消耗更少的内存访问,并且倾向于具有更高的FLOPS,因此,放置了更多FasterNet块,并相应地将更多计算分配给最后两个阶段。每个FasterNet块有一个PConv层,后跟2个PWConv(或Conv 1×1)层。它们一起显示为倒置残差块,其中中间层具有扩展的通道数量,并且放置了Shorcut以重用输入特征。

标准化和激活层对于高性能神经网络也是不可或缺的。然而,许多先前的工作在整个网络中过度使用这些层,这可能会限制特征多样性,从而损害性能。它还可以降低整体计算速度。相比之下,只将它们放在每个中间PWConv之后,以保持特征多样性并实现较低的延迟。

使用批次归一化(BN)代替其他替代方法。BN的优点是,它可以合并到其相邻的Conv层中,以便更快地进行推断,同时与其他层一样有效。对于激活层,根据经验选择了GELU用于较小的FasterNet变体,而ReLU用于较大的FasterNet变体,同时考虑了运行时间和有效性。最后三个层,即全局平均池化、卷积1×1和全连接层,一起用于特征转换和分类。

本文链接地址:https://www.jiuchutong.com/zhishi/298426.html 转载请保留说明!

上一篇:深度学习:图像去雨网络实现Pytorch (二)一个简单实用的基准模型(PreNet)实现

下一篇:Vue3中的父传子和子传父如何实现(vue3父子传值)

  • 红米k40有没有小爱同学语音助手吗(红米k40有没有小爱)

    红米k40有没有小爱同学语音助手吗(红米k40有没有小爱)

  • 华为mate40pro摄像头在什么位置(华为mate40pro摄像头旁边有个小孔)

    华为mate40pro摄像头在什么位置(华为mate40pro摄像头旁边有个小孔)

  • iphone6备忘录在哪里(iphone6p备忘录)

    iphone6备忘录在哪里(iphone6p备忘录)

  • 优酷弹幕按钮不见了(优酷弹幕按钮不见了2022电脑)

    优酷弹幕按钮不见了(优酷弹幕按钮不见了2022电脑)

  • 微信超过五分钟的视频怎么发给朋友(微信聊天超过2分钟怎么撤回)

    微信超过五分钟的视频怎么发给朋友(微信聊天超过2分钟怎么撤回)

  • 苹果有没有8s(苹果有没有8s手机)

    苹果有没有8s(苹果有没有8s手机)

  • b站转正用户是什么(b站转正可以干嘛)

    b站转正用户是什么(b站转正可以干嘛)

  • 苹果手机照片怎么编辑画圈(苹果手机照片怎么打马赛克)

    苹果手机照片怎么编辑画圈(苹果手机照片怎么打马赛克)

  • 芒果app弹幕哪里开(芒果tvapp弹幕)

    芒果app弹幕哪里开(芒果tvapp弹幕)

  • powerpoint运行于哪种环境下(powerpoint2010运行于什么环境下)

    powerpoint运行于哪种环境下(powerpoint2010运行于什么环境下)

  • 话费一直欠费会怎样(话费一直欠费会停机吗)

    话费一直欠费会怎样(话费一直欠费会停机吗)

  • iphone11无法无线充电(为什么苹果11无法无线充电)

    iphone11无法无线充电(为什么苹果11无法无线充电)

  • 播放失败请跳转原网页(播放失败请跳转到原网页)

    播放失败请跳转原网页(播放失败请跳转到原网页)

  • 手机扬声器和听筒的区别(手机扬声器和听筒坏了怎么办)

    手机扬声器和听筒的区别(手机扬声器和听筒坏了怎么办)

  • ipadmini5充不进电怎么回事(ipadmini5充不上电)

    ipadmini5充不进电怎么回事(ipadmini5充不上电)

  • 快手发私信有红色感叹号(快手发私信有红色感叹号多久才能发出去)

    快手发私信有红色感叹号(快手发私信有红色感叹号多久才能发出去)

  • 停机的手机号如何恢复(停机的手机号如何恢复移动)

    停机的手机号如何恢复(停机的手机号如何恢复移动)

  • 华为售后换屏当场换吗(华为售后换屏当天能换吗)

    华为售后换屏当场换吗(华为售后换屏当天能换吗)

  • 微信腾讯服务怎么删除(微信上腾讯服务怎么调出来)

    微信腾讯服务怎么删除(微信上腾讯服务怎么调出来)

  • 微信头像晃动是啥意思(触碰微信头像会晃动)

    微信头像晃动是啥意思(触碰微信头像会晃动)

  • lambda集成器是什么(lambda 集成器)

    lambda集成器是什么(lambda 集成器)

  • oppo抬头亮屏怎么设置(oppo手机抬头灯怎么设置)

    oppo抬头亮屏怎么设置(oppo手机抬头灯怎么设置)

  • word在图片上编辑文字(word在图片上编辑文字后怎么使其不动)

    word在图片上编辑文字(word在图片上编辑文字后怎么使其不动)

  • Yolov5/Yolov7加入Yolov8 c2f模块,涨点(yolov教程)

    Yolov5/Yolov7加入Yolov8 c2f模块,涨点(yolov教程)

  • Element-UI侧边导航栏切换展示不同的右侧主体内容(element ui 左侧导航)

    Element-UI侧边导航栏切换展示不同的右侧主体内容(element ui 左侧导航)

  • 自然人税收管理系统残疾人申报
  • 购买软件费用
  • 公司优秀党员事迹材料
  • 个人所得税纳税义务人
  • 国有独资企业交企业所得税规定
  • 免征增值税发票税率
  • 银行汇票应计入什么科目
  • 债权投资损失准备
  • 暂估入库已结转怎么处理
  • 预收保费属于什么会计科目类别
  • 企业外购的无形资产摊销,可以加计扣除吗?
  • 建筑图纸设计费包括晒图费吗
  • 税率调整之后税额的差异
  • 劳务报酬算公积金基数吗
  • 土地增值税哪些可以加计扣除
  • 支付银行借款利息属于现金使用范围吗
  • 公司之间转让股权,两家股东一样
  • 认缴制下股权转让如何不交税
  • 计提未发放的工资是否交个税
  • 3%增值税率包括哪些
  • 注册资本的变更
  • 合伙企业个人所得税经营所得怎么申报
  • 三证合一怎么查询
  • 不动产有法律效力吗
  • 完税证明可以作为发票吗
  • 资产负债表应交税费计算公式
  • 利息保障倍数计算公式资本化利息
  • 已预缴税款金额可以不申请退税吗
  • 单位开具发票
  • mac如何打电话
  • php创建二维数组
  • Win10 Build 21364 预览版正式更新(附更新内容)
  • 未到期责任准备金是什么意思
  • 什么是融资租赁型校园贷
  • 印度活根桥 (© dhritipurna/Shutterstock)
  • 货款退回账务处理方法
  • 公司给我多交了社保用不用退
  • 政府会计制度收入支出表
  • 收付控制状态不正常
  • nmap的命令
  • php登录流程
  • cookie from
  • 红字发票信息表盖什么章
  • c语言中全局变量
  • 个体工商户没有收入要交税吗
  • 个体工商户必须报税吗
  • 小规模0申报要做账吗
  • 织梦如何使用
  • 存款利息收入一般是多少
  • 母子公司之间借款要交税吗
  • sql server数据库异地备份
  • 补贴收入是否缴纳个税
  • 买理财产品的风险
  • 注册资本与实收资本是否一致
  • 上年度没有计提企业所得税,今年怎么做分录
  • 确认收入时,也必须确认资产或债务
  • 公司账户的钱如何转出
  • 免抵税额分录
  • 电子发票是否使用
  • 没有认证的进项税额怎么做凭证
  • 月初计提工资,月中发放
  • sql常见的数据类型有哪些
  • win7系统一键还原方法
  • win7怎么看
  • Win7系统重装后鼠标键盘不能用怎么办
  • imjpmig是什么进程
  • Extjs4 消息框去掉关闭按钮(类似Ext.Msg.alert)
  • javascriptz
  • scrapy爬虫教程
  • jquery可编辑表格插件
  • insmod: init_module 'hello.ko' failed (Exec format error)
  • shell随机
  • activity与fragment的通信
  • JavaScript 入门·JavaScript 具有全范围的运算符
  • 安卓抽象类
  • centos6.5
  • androidstudio快捷生成代码
  • 全国国税税务机关是哪里
  • 票据贴现的票据是什么
  • 纳税申报的期限是什么意思
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设