位置: IT常识 - 正文

CVPR‘2023 即插即用系列! | BiFormer: 通过双向路由注意力构建高效金字塔网络架构(即插即用系统)

编辑:rootadmin
CVPR‘2023 即插即用系列! | BiFormer: 通过双向路由注意力构建高效金字塔网络架构

推荐整理分享CVPR‘2023 即插即用系列! | BiFormer: 通过双向路由注意力构建高效金字塔网络架构(即插即用系统),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:即插即用功能在哪里打开,什么是即插即用设备 有什么特点,什么是即插即用设备,如何安装,什么是即插即用?它要达到什么目标,什么是即插即用?它要达到什么目标,什么叫即插即用?,即插即用功能在哪里打开,即插即用功能在哪里打开,内容如对您有帮助,希望把文章链接给更多的朋友!

Title: BiFormer: Vision Transformer with Bi-Level Routing Attention Paper: https://arxiv.org/pdf/2303.08810.pdf Code: https://github.com/rayleizhu/BiFormer

导读

众所周知,Transformer相比于CNNs的一大核心优势便是借助自注意力机制的优势捕捉长距离上下文依赖。正所谓物极必反,在原始的 Transformer 架构设计中,这种结构虽然在一定程度上带来了性能上的提升,但却会引起两个老生常态的问题:

内存占用大计算代价高

因此,有许多研究也在致力于做一些这方面的优化工作,包括但不仅限于将注意力操作限制在:

inside local windows, e.g., Swin transformer and Crossformer;axial stripes, e.g., Cswin transformer;dilated windows, e.g., Maxvit and Crossformer;

让我们先简单的看下上图:其中图(a)是原始的注意力实现,其直接在全局范围内操作,导致高计算复杂性和大量内存占用;而对于图(b)-(d),这些方法通过引入具有不同手工模式的稀疏注意力来减轻复杂性,例如局部窗口、轴向条纹和扩张窗口等;而图(e)则是基于可变形注意力通过不规则网格来实现图像自适应稀疏性;

总的来说,作者认为以上这些方法大都是通过将 手工制作‾\underline{手工制作}手工制作​ 和 与内容无关‾\underline{与内容无关}与内容无关​ 的稀疏性引入到注意力机制来试图缓解这个问题。因此,本文通过双层路由(bi-level routing)提出了一种新颖的动态稀疏注意力(dynamic sparse attention ),以实现更灵活的计算分配和内容感知,使其具备动态的查询感知稀疏性,如图(f)所示。

此外,基于该基础模块,本文构建了一个名为BiFormer的新型通用视觉网络架构。由于 BiFormer 以查询自适应的方式关注一小部分相关标记,而不会分散其他不相关标记的注意力,因此它具有良好的性能和高计算效率。最后,通过在图像分类、目标检测和语义分割等多项计算机视觉任务的实证结果充分验证了所提方法的有效性。

方法Bi-Level Routing Attention

为了缓解多头自注意力(Multi-Head Self-Attention, MHSA)的可扩展性问题,先前的一些方法提出了不同的稀疏注意力机制,其中每个查询只关注少量的键值对,而非全部。然而,这些方法有两个共性问题:

要么使用手工制作的静态模式(无法自适应);要么在所有查询中共享键值对的采样子集(无法做到互不干扰);

为此,作者探索了一种动态的、查询感知的稀疏注意力机制,其关键思想是在粗糙区域级别过滤掉大部分不相关的键值对,以便只保留一小部分路由区域(这不就把冗余的信息干掉了吗老铁们)。其次,作者在这些路由区域的联合中应用细粒度的token-to-token注意力。

整个算法的伪代码流程如下所示:

可以看到,整个模块主要包含三个组件,即:

Region partition and input projectionRegion-to-region routing with directed graphToken-to-token attentionCVPR‘2023 即插即用系列! | BiFormer: 通过双向路由注意力构建高效金字塔网络架构(即插即用系统)

简单梳理下。假设我们输入一张特征图,通过线性映射获得QKV;其次,我们通过领接矩阵构建有向图找到不同键值对对应的参与关系,可以理解为每个给定区域应该参与的区域;最后,有了区域到区域路由索引矩阵 ,我们便可以应用细粒度的token-to-token注意力了。

具体的实现还是有些复杂,可以参考代码慢慢理解,笔者这里看的也是云里雾里的。

上面是 BRA 模块的示意图。从图中可以看出,该方法是通过收集前 k 个相关窗口中的键值对,并利用稀疏性操作直接跳过最不相关区域的计算来节省参数量和计算量。值得一提的是,以上操作涉及 GPU 友好的密集矩阵乘法,利于服务器端做推理加速。

BiFormer

基于BRA模块,本文构建了一种新颖的通用视觉转换器BiFormer。如上图所示,其遵循大多数的vision transformer架构设计,也是采用四级金字塔结构,即下采样32倍。

具体来说,BiFormer在第一阶段使用重叠块嵌入,在第二到第四阶段使用块合并模块来降低输入空间分辨率,同时增加通道数,然后是采用连续的BiFormer块做特征变换。需要注意的是,在每个块的开始均是使用 3×33\times33×3 的深度卷积来隐式编码相对位置信息。随后依次应用BRA模块和扩展率为 eee 的 2 层 多层感知机(Multi-Layer Perceptron, MLP)模块,分别用于交叉位置关系建模和每个位置嵌入。

上表展示了不同模型变体的网络宽度和深度。其中FLOP是基于 224×224224 \times 224224×224 输入计算的。

实验

所有模型都在分辨率为 224×224224 \times 224224×224 的图像上进行训练和评估。其中星号表示该模型是使用标记标签进行训练的。据笔者所知,这是在没有额外训练数据或训练技巧所能取得的最佳结果。此外,使用基于标记的蒸馏技术,BiFormer-S的准确率可以进一步提高到 84.3%84.3\%84.3%!

可以看到,本文方法貌似对小目标检测效果比较好。这可能是因为BRA模块是基于稀疏采样而不是下采样,一来可以保留细粒度的细节信息,二来同样可以达到节省计算量的目的。

为了进一步了解双层路由注意力的工作原理,作者将路由区域和注意力响应进行可视化。从图中我们可以清楚地观察到语义相关区域已被成功定位。例如,在第一个场景中的街景所示,如果查询位置在建筑物或树上,则对应的路由区域覆盖相同或相似的实体。而在第二个室内场景中,当我们将查询位置放在鼠标上时,路由区域包含主机、键盘和显示器的一部分,即使这些区域彼此不相邻。这意味着双层路由注意力可以捕获远距离对上下文依赖。

总结

本文提出了一种双层路由注意力模块,以动态、查询感知的方式实现计算的有效分配。其中,BRA模块的核心思想是在粗区域级别过滤掉最不相关的键值对。它是通过首先构建和修剪区域级有向图,然后在路由区域的联合中应用细粒度的token-to-token注意力来实现的。值得一提的是,该模块的计算复杂度可压缩至 O((HW)43)O((HW)^{\frac{4}{3}})O((HW)34​)!最后,基于该模块本文构建了一个金字塔结构的视觉Transformer——BiFormer,它在四种流行的视觉任务、图像分类、目标检测、实例分割和语义分割方面均表现出卓越的性能。

写在最后

如果您也对人工智能和计算机视觉全栈领域感兴趣,强烈推荐您关注有料、有趣、有爱的公众号『CVHub』,每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案!

同时欢迎添加小编微信: cv_huber,备注CSDN,加入官方学术|技术|招聘交流群,一起探讨更多有趣的话题!

本文链接地址:https://www.jiuchutong.com/zhishi/296135.html 转载请保留说明!

上一篇:Python 高性能 web 框架 - FastApi 全面指南(Python 高性能 pdf)

下一篇:PyTorch+PyG实现图神经网络经典模型目录(pytorch example)

  • 华为nova7pro有几个颜色呢(华为Nova7pro有几寸)

    华为nova7pro有几个颜色呢(华为Nova7pro有几寸)

  • 为什么抖音瘦脸不明显(为什么抖音瘦脸用不了)

    为什么抖音瘦脸不明显(为什么抖音瘦脸用不了)

  • 实体店通用红包用不了

    实体店通用红包用不了

  • 微信一行最多打多少字(微信一行能打多少字)

    微信一行最多打多少字(微信一行能打多少字)

  • 拼多多商家提现规则?(拼多多商家提现提不了怎么回事)

    拼多多商家提现规则?(拼多多商家提现提不了怎么回事)

  • ios13适合7p吗(ios13适合iphone7吗?)

    ios13适合7p吗(ios13适合iphone7吗?)

  • 手机号码没注销会一直扣费吗(手机号码没注销好几年了会扣费吗)

    手机号码没注销会一直扣费吗(手机号码没注销好几年了会扣费吗)

  • rom的特点(cd—ROM的特点)

    rom的特点(cd—ROM的特点)

  • 淘宝购物分怎么算(淘宝购物分怎么加)

    淘宝购物分怎么算(淘宝购物分怎么加)

  • nfc贴纸怎么用(nfc贴纸使用教程)

    nfc贴纸怎么用(nfc贴纸使用教程)

  • vivo怎么在日历上做标记(vivo手机怎样设置日历)

    vivo怎么在日历上做标记(vivo手机怎样设置日历)

  • vertu手机支持电信吗(vertu新款手机)

    vertu手机支持电信吗(vertu新款手机)

  • art al00x是华为啥型号

    art al00x是华为啥型号

  • 快手一个手机号能注册几个号(快手一个手机号能绑几个)

    快手一个手机号能注册几个号(快手一个手机号能绑几个)

  • 手机怎样可以当电视遥控器(手机怎样可以当门禁卡用)

    手机怎样可以当电视遥控器(手机怎样可以当门禁卡用)

  • 苹果保修一定要发票吗(苹果保修一定要在买手机的地方吗)

    苹果保修一定要发票吗(苹果保修一定要在买手机的地方吗)

  • 京东闪付添加小米钱包(京东闪付怎样添加到小米钱包)

    京东闪付添加小米钱包(京东闪付怎样添加到小米钱包)

  • 苹果11充电多久(苹果11充电多久开机)

    苹果11充电多久(苹果11充电多久开机)

  • 如何破解压缩包解压码(如何破解压缩包加密)

    如何破解压缩包解压码(如何破解压缩包加密)

  • 如何添加橱窗产品(如何添加橱窗产品 答案)

    如何添加橱窗产品(如何添加橱窗产品 答案)

  • oppo手机怎么校准电量(oppo手机怎么校准指南针)

    oppo手机怎么校准电量(oppo手机怎么校准指南针)

  • 如何分辨airpods1和2(如何分辨AirPods1和2)

    如何分辨airpods1和2(如何分辨AirPods1和2)

  • 应用锁是什么(应用锁是什么意思)

    应用锁是什么(应用锁是什么意思)

  • 【SpringBoot】简单的文件上传和文件下载以及图片回显(springbootssm)

    【SpringBoot】简单的文件上传和文件下载以及图片回显(springbootssm)

  • ValueError: The device should not be ‘gpu‘, since PaddlePaddle is not compiled with CUDA问题解决(Paddle)

    ValueError: The device should not be ‘gpu‘, since PaddlePaddle is not compiled with CUDA问题解决(Paddle)

  • zipgrep命令  查找压缩包内指定的文件(linux在查找zip里的文件)

    zipgrep命令 查找压缩包内指定的文件(linux在查找zip里的文件)

  • 小规模纳税人所得税税率是5还是2.5
  • 财务软件和报税软件区别
  • 税控盘减免税款年末如何结转
  • 收付实现制有应收应付吗
  • 卷烟批发环节消费税纳税义务发生时间
  • 即征即退项目的进项税额不参与加计抵减
  • 缴纳的专利年费能退吗
  • 所有增值税发票都有抵扣联吗
  • 报销业务招待费用主题
  • 个人给公司开票税率
  • 年终奖金怎么发放
  • 对公账户钱怎么退回去
  • 不需要缴纳增值税的有
  • 小规模纳税人代账流程
  • 汽车维修公司如何经营粉丝群才能让潜在客户注意到我们
  • 分期收款什么时候交税
  • 资产总额小于所有者权益合计
  • 小规模开3%专票可享受减免
  • 金税盘服务费计入什么会计科目
  • 生产企业出口需要什么手续
  • 员工离职一次性结清工资
  • 三星笔记app功能介绍
  • 企业所得税怎么做帐
  • 弥补亏损的会计分录是怎样的
  • w10的蜘蛛纸牌
  • 往来款能转为投资款的说明
  • springboot整合了哪些框架
  • 股东投资款验资后可以转出吗
  • php的工作流程
  • 稿酬特许权使用费的预扣率是多少
  • scworker.exe是病毒
  • 企业提取盈余公积会引起所有者权益变动吗
  • mysql.php
  • thinkphp3.2.3
  • 有什么办法解决前进中的问题
  • 办公费抵扣标准
  • 开源项目网站
  • ubuntu20.04安装opencv3.4
  • 总结js中常用的字符
  • 个人对公付款
  • 建筑工地仓库管理流程
  • 合同金额含税么
  • 承典人是什么意思
  • 允许抵扣的进项税
  • 盘盈盘亏怎么看
  • 一般纳税人福利费
  • 老板买了手机,算入什么费用
  • 付别人押金的会计分录
  • 专票不报销公司查得到吗
  • 闲置固定资产如何折旧
  • sqlserver 创建索引与使用
  • sql %和_
  • 如何删除多余的空白表格
  • windows2003服务
  • win8怎么一开机就进入桌面
  • windows10周年纪念版
  • xp文件夹选项在哪里打开
  • 阿里云安装
  • windows7粘滞键怎么关
  • centos如何添加监听端口
  • linux系统主要用途
  • windowsapp文件夹打不开
  • 圣诞老人现在在干嘛
  • 龙芯芯片组
  • 用jquery实现隔行变色
  • 完本小说 电子书地址
  • ubuntu nfs配置
  • js 异步队列
  • webview加载本地vue3
  • u盘通过什么读写数据
  • 安卓基础入门教程
  • jquery示例
  • python操作数据库语句
  • 内蒙古物业费收取标准2020
  • 车船税保险公司代收代缴后,单位还申报不?
  • 2023河南新农合截止日期新规
  • 浙江省税务师事务所排名
  • 国税商品分类目录
  • 造纸及纸制品业属于什么行业
  • 2021年十大慈善企业
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设