位置: IT常识 - 正文

CVPR‘2023 即插即用系列! | BiFormer: 通过双向路由注意力构建高效金字塔网络架构(即插即用系统)

编辑:rootadmin
CVPR‘2023 即插即用系列! | BiFormer: 通过双向路由注意力构建高效金字塔网络架构

推荐整理分享CVPR‘2023 即插即用系列! | BiFormer: 通过双向路由注意力构建高效金字塔网络架构(即插即用系统),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:即插即用功能在哪里打开,什么是即插即用设备 有什么特点,什么是即插即用设备,如何安装,什么是即插即用?它要达到什么目标,什么是即插即用?它要达到什么目标,什么叫即插即用?,即插即用功能在哪里打开,即插即用功能在哪里打开,内容如对您有帮助,希望把文章链接给更多的朋友!

Title: BiFormer: Vision Transformer with Bi-Level Routing Attention Paper: https://arxiv.org/pdf/2303.08810.pdf Code: https://github.com/rayleizhu/BiFormer

导读

众所周知,Transformer相比于CNNs的一大核心优势便是借助自注意力机制的优势捕捉长距离上下文依赖。正所谓物极必反,在原始的 Transformer 架构设计中,这种结构虽然在一定程度上带来了性能上的提升,但却会引起两个老生常态的问题:

内存占用大计算代价高

因此,有许多研究也在致力于做一些这方面的优化工作,包括但不仅限于将注意力操作限制在:

inside local windows, e.g., Swin transformer and Crossformer;axial stripes, e.g., Cswin transformer;dilated windows, e.g., Maxvit and Crossformer;

让我们先简单的看下上图:其中图(a)是原始的注意力实现,其直接在全局范围内操作,导致高计算复杂性和大量内存占用;而对于图(b)-(d),这些方法通过引入具有不同手工模式的稀疏注意力来减轻复杂性,例如局部窗口、轴向条纹和扩张窗口等;而图(e)则是基于可变形注意力通过不规则网格来实现图像自适应稀疏性;

总的来说,作者认为以上这些方法大都是通过将 手工制作‾\underline{手工制作}手工制作​ 和 与内容无关‾\underline{与内容无关}与内容无关​ 的稀疏性引入到注意力机制来试图缓解这个问题。因此,本文通过双层路由(bi-level routing)提出了一种新颖的动态稀疏注意力(dynamic sparse attention ),以实现更灵活的计算分配和内容感知,使其具备动态的查询感知稀疏性,如图(f)所示。

此外,基于该基础模块,本文构建了一个名为BiFormer的新型通用视觉网络架构。由于 BiFormer 以查询自适应的方式关注一小部分相关标记,而不会分散其他不相关标记的注意力,因此它具有良好的性能和高计算效率。最后,通过在图像分类、目标检测和语义分割等多项计算机视觉任务的实证结果充分验证了所提方法的有效性。

方法Bi-Level Routing Attention

为了缓解多头自注意力(Multi-Head Self-Attention, MHSA)的可扩展性问题,先前的一些方法提出了不同的稀疏注意力机制,其中每个查询只关注少量的键值对,而非全部。然而,这些方法有两个共性问题:

要么使用手工制作的静态模式(无法自适应);要么在所有查询中共享键值对的采样子集(无法做到互不干扰);

为此,作者探索了一种动态的、查询感知的稀疏注意力机制,其关键思想是在粗糙区域级别过滤掉大部分不相关的键值对,以便只保留一小部分路由区域(这不就把冗余的信息干掉了吗老铁们)。其次,作者在这些路由区域的联合中应用细粒度的token-to-token注意力。

整个算法的伪代码流程如下所示:

可以看到,整个模块主要包含三个组件,即:

Region partition and input projectionRegion-to-region routing with directed graphToken-to-token attentionCVPR‘2023 即插即用系列! | BiFormer: 通过双向路由注意力构建高效金字塔网络架构(即插即用系统)

简单梳理下。假设我们输入一张特征图,通过线性映射获得QKV;其次,我们通过领接矩阵构建有向图找到不同键值对对应的参与关系,可以理解为每个给定区域应该参与的区域;最后,有了区域到区域路由索引矩阵 ,我们便可以应用细粒度的token-to-token注意力了。

具体的实现还是有些复杂,可以参考代码慢慢理解,笔者这里看的也是云里雾里的。

上面是 BRA 模块的示意图。从图中可以看出,该方法是通过收集前 k 个相关窗口中的键值对,并利用稀疏性操作直接跳过最不相关区域的计算来节省参数量和计算量。值得一提的是,以上操作涉及 GPU 友好的密集矩阵乘法,利于服务器端做推理加速。

BiFormer

基于BRA模块,本文构建了一种新颖的通用视觉转换器BiFormer。如上图所示,其遵循大多数的vision transformer架构设计,也是采用四级金字塔结构,即下采样32倍。

具体来说,BiFormer在第一阶段使用重叠块嵌入,在第二到第四阶段使用块合并模块来降低输入空间分辨率,同时增加通道数,然后是采用连续的BiFormer块做特征变换。需要注意的是,在每个块的开始均是使用 3×33\times33×3 的深度卷积来隐式编码相对位置信息。随后依次应用BRA模块和扩展率为 eee 的 2 层 多层感知机(Multi-Layer Perceptron, MLP)模块,分别用于交叉位置关系建模和每个位置嵌入。

上表展示了不同模型变体的网络宽度和深度。其中FLOP是基于 224×224224 \times 224224×224 输入计算的。

实验

所有模型都在分辨率为 224×224224 \times 224224×224 的图像上进行训练和评估。其中星号表示该模型是使用标记标签进行训练的。据笔者所知,这是在没有额外训练数据或训练技巧所能取得的最佳结果。此外,使用基于标记的蒸馏技术,BiFormer-S的准确率可以进一步提高到 84.3%84.3\%84.3%!

可以看到,本文方法貌似对小目标检测效果比较好。这可能是因为BRA模块是基于稀疏采样而不是下采样,一来可以保留细粒度的细节信息,二来同样可以达到节省计算量的目的。

为了进一步了解双层路由注意力的工作原理,作者将路由区域和注意力响应进行可视化。从图中我们可以清楚地观察到语义相关区域已被成功定位。例如,在第一个场景中的街景所示,如果查询位置在建筑物或树上,则对应的路由区域覆盖相同或相似的实体。而在第二个室内场景中,当我们将查询位置放在鼠标上时,路由区域包含主机、键盘和显示器的一部分,即使这些区域彼此不相邻。这意味着双层路由注意力可以捕获远距离对上下文依赖。

总结

本文提出了一种双层路由注意力模块,以动态、查询感知的方式实现计算的有效分配。其中,BRA模块的核心思想是在粗区域级别过滤掉最不相关的键值对。它是通过首先构建和修剪区域级有向图,然后在路由区域的联合中应用细粒度的token-to-token注意力来实现的。值得一提的是,该模块的计算复杂度可压缩至 O((HW)43)O((HW)^{\frac{4}{3}})O((HW)34​)!最后,基于该模块本文构建了一个金字塔结构的视觉Transformer——BiFormer,它在四种流行的视觉任务、图像分类、目标检测、实例分割和语义分割方面均表现出卓越的性能。

写在最后

如果您也对人工智能和计算机视觉全栈领域感兴趣,强烈推荐您关注有料、有趣、有爱的公众号『CVHub』,每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案!

同时欢迎添加小编微信: cv_huber,备注CSDN,加入官方学术|技术|招聘交流群,一起探讨更多有趣的话题!

本文链接地址:https://www.jiuchutong.com/zhishi/296135.html 转载请保留说明!

上一篇:Python 高性能 web 框架 - FastApi 全面指南(Python 高性能 pdf)

下一篇:PyTorch+PyG实现图神经网络经典模型目录(pytorch example)

  • 微信公众号名称能修改吗(微信公众号名称可以改吗)

    微信公众号名称能修改吗(微信公众号名称可以改吗)

  • 真我gtneo2t是曲面屏吗

    真我gtneo2t是曲面屏吗

  • 苹果13虚拟键怎么调出来(苹果13虚拟键怎么设置)

    苹果13虚拟键怎么调出来(苹果13虚拟键怎么设置)

  • 约苗怎么订阅门诊到苗通知(约苗怎么订阅门诊)

    约苗怎么订阅门诊到苗通知(约苗怎么订阅门诊)

  • 苹果手机测量仪在哪里(苹果手机测量仪器在什么里面)

    苹果手机测量仪在哪里(苹果手机测量仪器在什么里面)

  • 怎么查手机号绑定的支付宝(怎么查手机号绑定了哪些软件)

    怎么查手机号绑定的支付宝(怎么查手机号绑定了哪些软件)

  • 远程连接怎么连不上(远程连接怎么连接微软账户)

    远程连接怎么连不上(远程连接怎么连接微软账户)

  • 拼多多砍价网页打不开是为什么(拼多多砍价网站链接)

    拼多多砍价网页打不开是为什么(拼多多砍价网站链接)

  • 微信怎么看红包发了多少(微信怎么看红包记录和转账记录)

    微信怎么看红包发了多少(微信怎么看红包记录和转账记录)

  • qq字符标识有哪些(qq字符deja)

    qq字符标识有哪些(qq字符deja)

  • qq加群失败什么意思(qq加群不成功)

    qq加群失败什么意思(qq加群不成功)

  • 手机卡会中病毒吗(手机卡会不会中病毒)

    手机卡会中病毒吗(手机卡会不会中病毒)

  • 小红书的主要盈利模式(小红书的盈利模式主要有哪些)

    小红书的主要盈利模式(小红书的盈利模式主要有哪些)

  • 5G消息是什么(5g消息是什么意思)

    5G消息是什么(5g消息是什么意思)

  • gtx960什么级别显卡

    gtx960什么级别显卡

  • 怎么开启增量下载(增量更新怎么实现)

    怎么开启增量下载(增量更新怎么实现)

  • vivo手机有pay功能吗(vivo手机有没有手机pay)

    vivo手机有pay功能吗(vivo手机有没有手机pay)

  • 京东评价中心怎么删除(京东评价中心怎么找)

    京东评价中心怎么删除(京东评价中心怎么找)

  • 淘宝粉丝福利在哪进入(淘宝的粉丝福利购在哪里)

    淘宝粉丝福利在哪进入(淘宝的粉丝福利购在哪里)

  • 微关爱无需对方点击吗(微关爱怎么解除对方禁止管理)

    微关爱无需对方点击吗(微关爱怎么解除对方禁止管理)

  • 信息发送失败是拉黑吗(为什么发送不了信息失败)

    信息发送失败是拉黑吗(为什么发送不了信息失败)

  • 小米9黑鲨2对比(黑鲨2跟小米9哪个好)

    小米9黑鲨2对比(黑鲨2跟小米9哪个好)

  • 快手换绑申诉要多久(快手换绑请求存在风险什么情况)

    快手换绑申诉要多久(快手换绑请求存在风险什么情况)

  • 怎么查看美团已购账单(怎么查看美团已经删除的订单)

    怎么查看美团已购账单(怎么查看美团已经删除的订单)

  • deepinv20 linux怎么修改文件后缀? Linux系统修改文件后缀名的技巧(deepin linux安装教程)

    deepinv20 linux怎么修改文件后缀? Linux系统修改文件后缀名的技巧(deepin linux安装教程)

  • win10电源设置方法(win10的电源设置)

    win10电源设置方法(win10的电源设置)

  • 公司替员工承担个税怎么入账
  • 金税盘技术维护费
  • 施工企业的临时设施,属于企业的固定资产
  • 个税申报显示无有效的税费种认定信息已核定
  • 借贷记账法的基本结构
  • 1号没有抄税可以补税吗
  • 服务不动产和无形资产扣除项目本期实际扣除金额
  • 委托加工发出材料成本会计分录
  • 发票上的收款人负法律责任吗
  • 房租押金不退如何
  • 出口货物退货需要退税吗
  • 纳税申报表真伪验证
  • 计提社保公积金的会计分录
  • 替票怎么控制数量
  • 银行电子回单号码什么意思
  • 用来退税的进项怎么抵扣
  • 合同印花税进哪个科目
  • 公司为员工购买五险一金是什么意思
  • 深圳制造业税收
  • 企业申请资产损失需要提供哪些确认证据?
  • 公司购买商业保险如何入账
  • 进项发票已入账抵扣后开负数红冲怎么处理
  • 建设银行对公转账限额
  • 购买厂房可以一次买卖吗
  • 个人独资企业取得的股息红利
  • 收到代收款怎么做分录
  • 个体工商户起征点10万执行时间
  • win11安装程序提示非管理员账号
  • win10电源已接通未充电怎么办
  • windows server 2016 配置web网页
  • 海关进口增值税怎么认证抵扣
  • web前端基本知识
  • 收外汇怎么做账报税
  • 办公用品属于会计科目中的什么
  • vue :data="data"
  • Apache PHP MySql安装配置图文教程
  • chage -l命令
  • 借款存入银行会计分录怎么写
  • 小型微利企业减按25%计算应纳税所得额
  • okhttp源码
  • 固定资产原值怎么确定
  • 将织梦dedecms转换到wordpress
  • python怎么打开mac本地文件
  • 专票红冲要不要收回发票联呢?
  • 消耗品清单
  • 汇兑损益方式为外币结清怎么操作
  • 公司股权变更如何合理避税
  • 促销有哪几个方面
  • 减免税款借方有利息吗
  • 溢价发行股票的交易费用
  • 车辆报废取得的收入增值税怎么算
  • 其他应付款转营业外收入摘要怎么写
  • 农业技术人员是什么意思
  • 管理会计运用什么软件
  • 私企做会计风险大吗
  • 房地产企业会计科目
  • Win7旗舰版系统安装
  • 如何卸载独显
  • linux连接vps
  • centos5.6
  • mssecsvr.exe病毒现象
  • windows无法配置在此硬件上运行
  • 如何保留windows.old
  • microsoft build
  • cocos2dx-js
  • js瀑布流效果代码
  • android开发步骤
  • Android UI之LinearLayout(线性布局)
  • python import怎么用
  • javascript开发平台
  • express框架的优缺点
  • 启动游戏使用的文件夹什么意思
  • 安卓自动登录应用程序
  • android动态添加view
  • 出口企业的增值税怎么算
  • 省委巡视组收到的案件线索怎么分配
  • 居住证在粤省事怎么查询
  • 税务文书保存期限分几类
  • 工程合同可以违背国家规范吗
  • 关于切实加强建筑施工领域安全防范工作
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设