位置: IT常识 - 正文

Tesla AI day中感知部分的详细解析(一)——Transformer在图像领域的应用(特斯拉 ai day)

编辑:rootadmin
Tesla AI day中感知部分的详细解析(一)——Transformer在图像领域的应用 目录前言TransformerInput Embedding(Masked)Multi-Head AttentionSequence maskPositional embbedingsSwin TransformerInputSwin Transformer Block计算量相对位置偏移SW-MSADeformable DETR总结前言

推荐整理分享Tesla AI day中感知部分的详细解析(一)——Transformer在图像领域的应用(特斯拉 ai day),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:特斯拉智能识别,特斯拉感应人的原理,特斯拉汽车主要的感知方式是( ),特斯拉感应技术,特斯拉 ai day,特斯拉汽车主要的感知方式是( ),特斯拉感应技术,特斯拉周边车辆感应,内容如对您有帮助,希望把文章链接给更多的朋友!

最近针对特斯拉AI day2022内容进行了初步的了解,三个小时的发布会涵盖了方方面面的内容,其中基于纯视觉和深度学习的BEV感知升级版Occupancy Network形成的3D感知系统着实让人惊艳,而想要了解Occupancy Network,必须先了解其前身BEV感知,而其中一大关键点是参考了Transformer的网络结构对不同时空的数据输入进行处理,本系列文章主要针对相关技术从源头开始解析,由于个人技术能力有限,不可能面面俱到,仅当作抛砖引玉了。 由于之前很长一段时间主要在做SLAM相关工作,自YOLOv4后对于深度学习这块的内容没及时跟踪了,外加Transfomer在相当长时间主要应用在NLP领域,因此这段时间从原始Transformer出发,到对于视觉领域影响较大的Swin Transformer及相关论文和资料进行了阅读和学习,这里先简要记录相关要点,并予以解析和对比。

Transformer

论文:Attention Is All You Need 代码:jadore801120/attention-is-all-you-need-pytorch 参考文章: Transformer 模型的 PyTorch 实现 一文教你彻底理解Transformer中Positional Encoding The Illustrated Transformer 关于Transformer的解析文章太多了,参考文章都讲的很好了,本文不会事无巨细的讲解所有细节,这里主要针对模型一些点做解析。 以上就是Transformer的核心架构,左边是Encoder部分,右边是Decoder部分,理论上可以随意扩展,原版采用6个Encoder和6个Decoder。从架构中可以看到,其实主要的组成包括Input Embedding、(Masked)Multi-Head Attention、Positional Encoding,其它部分例如类似Resnet的跨层直连都是其它网络中比较常用的方法,这里就不赘述了。

Input Embedding

在Encoder部分,直接把原始输入经过一个线性层转化到对应的输入维度;在Decoder层,可以清晰看到,第二层的Attention模块的输入分别来自于上一层以及Encoder的输出。

(Masked)Multi-Head Attention

整个Transformer的核心,自注意力机制的具体实现,根本上就是在评估各个输入间的关系,并针对性给出输出,结构参考下图:

输入原始的语句,将每个单词转换为一个固定维度的向量x(默认为512维),x经过三个线性层得到三个向量query,key,value,前两者用于计算权重不同输入的权重,然后针对每个单词加权求和得到输出z,参考下图: 更多的细节参考文章中讲得很详细,至于Multi-Head的解释,实际上就是将以上部分进行了多次,例如一个单词生成Embedding,基于这个Embedding生成多个q,k,v,分别进行以上过程,得到多层的z。这个过程内涵的原理就是通过多层的注意力机制,让不同层关注输入中不同的内容。

Sequence mask

在Decoder中针对这个模块额外做了一些工作,主要是考虑到在做解码时,我们能够利用的信息一般只有句子中已经出现出现的单词,例如一个10个单词的句子,在解析第5个单词时,我们能够利用的其实只有第0-4个单词,因为一般而言都是按顺序解析一个句子,这一块是利用sequence mask来实现的,这里具体讲一下: 先不考虑Multi-Head,一个有N个单词的句子,经过Attention第一阶段计算得到N个q,k,v,对于任一单词,会用自己的q与其它所有单词的k点乘得到N维的权重向量,针对N个单词就会得到N*N的权重矩阵,如下图:

不增加mask的情况下,直接对每一行计算softmax得到归一化的权重,然后乘以V矩阵得到最终输出Z;考虑sequence mask时,以第一个单词为例,根据上文提到的原则,第一个单词用到的信息只有自己,因此在第一行中,除第一列其它所有权重加上一个极小值,这样经过softmax之后其它权重几乎为0,对于第二个单词,则是除第一列和第二列其它所有权重加上一个极小值,因此,将权重矩阵加上一个充满极小值的对角阵即可完成上述工作: 使用加上mask的权重矩阵与V矩阵相乘得到最终结果。

Positional embbedings

关于位置编码可以参考一文教你彻底理解Transformer中Positional Encoding 在LSTM或者RNN中,输入单词按顺序一个个丢进网络中的,天然就带入了位置的概念;而在以上结构中,明显丢失了重要的位置信息,因此,在输入时,额外增加了positional embedding这个东西,也就是针对输入的位置编码,这个编码需要满足以下特性:

反应不同输入的绝对位置反应不同输入的相对位置能够适用于长度不同的输入句子Tesla AI day中感知部分的详细解析(一)——Transformer在图像领域的应用(特斯拉 ai day)

由于网络中处理还需要考虑输入分布和幅值问题,位置编码与输入编码相加后不能完全覆盖掉原始输入信息,因此文中采用了一种特殊的编码格式,其公式如下: 位置编码的维度与输入维度一致(默认为512维,512维中偶数部分由第一式计算得到,奇数由第二式计算得到),其中pos代表单词在句子里的位置,i表示维度。 直接看这个公式是比较晦涩的,参考文章用二进制来举例的方式非常贴切,这里借用一下: 可以看到,对于二进制表示来看,随着实际数值增大(0-15),高位上的数据变化频率慢,但代表的实际数值很大;低位上的数据变化频率快,但代表的实际数值很小;再看看上面的公式,i越小,三角函数波长越短,频率越高;i越大,三角函数波长越长,频率越低;整体和二进制表示非常类似,只是在进位上有很大区别。 至于这种编码方式是否是最优的,以及能不能完美满足以上几个要求,这个需要进一步讨论。

Swin Transformer

论文:Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 代码:microsoft/Swin-Transformer 参考文章: Swin Transformer 论文详解及程序解读 近几年Transformer开始侵入到图像领域,在最初的应用中,存在许多问题,例如如何处理输入,如何处理输入的位置信息,如何处理不同尺寸的图像等等,Swin Transformer在借鉴了前人的经验基础上,加入基于Windows和Shifted-Windows的Self-attention概念,取得了不错的结果。 先上网络框架: 虽然最核心的模块都是一个叫Swin Transformer Block的东西,但整体的特征提取部分仍旧参考了传统CNN架构,随着深度加深,特征图分辨率下降,channel增多,如下图: 可以认为主要是由Swin Transformer Block取代了传统的CNN来作特征提取,下面针对具体的每个部分进行解析。

Input

将Transformer从NLP领域应用到CV领域比较大的一个区别在于输入的处理,目前主流的做法是对图像进行分块(patch),针对每一个块进行编码并加入位置编码,然后输进Attention模块。在Swin Transformer中,每个patch包括4*4的像素区域,每个像素3个通道,展开为一维就是48,因此输入转换为h/4*w/4*48的矩阵,再经过一个线性层增加一倍通道,对应上图中第一层;之后每次将输入喂入Swin Transformer Block前,会将输出进行一次patch merging,使其分辨率下降一倍,通道增多一倍。

Swin Transformer Block

整个网络架构的核心,其核心思想仍然遵循Tranformer中attention模块,实现细节略有不同。

计算量

首先,ViT中对所有的patch进行Self-attention计算,随着图像尺寸增大,计算量呈平方上升,假设图像包含h×wh\times wh×w个patch,输入通道数为C,具体计算如下: 1、计算每个patch的Q、K、V,直接使用线性层计算,输入输出维度相同,单个patch计算量为C2C^2C2,所有patch三个量计算量为3hwC23hwC^23hwC2。 2、计算所有patch相互之间的Q∗KTQ*K^TQ∗KT,Q、K维度与输入一致,单个计算量为C,所有计算量为(hw)2C(hw)^2C(hw)2C;得到hw×hwhw\times hwhw×hw的权重矩阵X(忽略softmax计算),使用X与所有V构成的hw×Chw\times Chw×C维矩阵相乘,计算量也为(hw)2C(hw)^2C(hw)2C,因此总计算量为2(hw)2C2(hw)^2C2(hw)2C 3、使用使用多头注意力机制,在融合时会增加hwC2hwC^2hwC2的计算量。 总计算量为: 4hwC2+2(hw)2C4hwC^2+2(hw)^2C4hwC2+2(hw)2C

而Swin Transformer中增加了Windows的概念,将图像分为多个Windows,每个Window包含M*M个patches,只在WIndow内部进行Self-attention计算,这样在图像尺寸增大时,计算量呈线性上升,具体计算如下: 1、Q、K、V以及多头融合计算与前面相同,为4hwC24hwC^24hwC2。 2、self-attention只在window内部计算,参考前文,单个window计算量为2M4C2M^4C2M4C,一张包含h×wh\times wh×w个patch的图像有包含hM×wM\frac h M\times \frac w MMh​×Mw​个windows,总计算量为:2M2hwC2M^2hwC2M2hwC。 总计算量为: 4hwC2+2M2hwC4hwC^2+2M^2hwC4hwC2+2M2hwC 可以明显看到计算量的区别。

相对位置偏移

Swin Transformer中的位置编码跟原始Transformer有比较大的差别,其并非在输入时直接加入位置编码,而是在计算Q∗KTQ*K^TQ∗KT后加上一个称为相对位置偏移B的量,而这个量是可以被学习的,如下公式: B具体解释起来比较复杂,参考文章有详细的图文解析,这里不细讲了,主要提几个重要的点: 1、所有的相对位置偏移量都存在一个2M−1×2M−1×num_of_heads2M-1\times 2M-1\times num\_of\_heads2M−1×2M−1×num_of_heads维度的表中,计算时根据索引取值,关于维度为什么不是M×MM\times MM×M,是因为相对位置存在重复,例如[0,0]与[1,1]的相对位置和[1,1]与[2,2]的相对位置是相同的,应该取同一个偏移量加入计算; 2、patch与patch之间根据其相对位置偏移计算的是相对位置编码索引,这个索引值反应了两个patch的相对位置。

SW-MSA

为了节省计算量,将Self-attention计算局限在了window内部,然而这样会造成感受野比较小且分块的问题,因此在Swin Transformer中增加了Shifted-MSA的概念,即将window的划分按固定步长进行平移,以使得在多层MSA时能够接收到更大范围的信息,如图所示: layer1正常计算,layer2起到将layer1中不同window链接的作用。实际的计算过程非常巧妙,在移位前对每个patch打上index,构造一个mask矩阵,移位后不同index的计算位置填充-100,通过bias的方式加到权重矩阵上,具体实现的解析参考文章图文并茂讲的非常详细了,这里不重复赘述了。

Deformable DETR

论文:Deformable DETR 代码:fundamentalvision/Deformable-DETR 关于DETR的细节这里不做详细解析,其主要工作针对Transformer在目标检测任务中的应用,与本系列主要内容相关性不太大;这里主要对Deformable DETR中的一个点Deformable Attention进行解析,它对于后续的应用起到了较为关键的作用,这个东西来自于Deformable CNN,熟悉Deformable CNN的可以很容易理解,这里先看下不同注意力机制的主要公式。 多头注意力机制: 公式对应前文讲过的Transformer多头注意力计算标准公式,M代表多头的个数,Ωk\Omega _kΩk​表示所有的输入,xkx_kxk​表示第k个输入,A即Q×KTQ\times K^TQ×KT并经过softmax得到的权重,中括号里面的部分就是对应前文的加权和的部分。

Deformable Attention: 与第一个公式对比可以发现,主要多了Δpmqk\Delta p_{mqk}Δpmqk​这个东西,其实它就是一个位置偏移,是一个与输入Q以及可学习参数有关的东西;此外K并不代表所有输入,是一个可以预先设定的参数。 数学上的解释论文讲的很详细,这里抽象来理解下,原版多头注意力考虑每个输入与其他所有输入的关系,其关系强弱由权重决定,这样计算量大收敛慢,好处是收敛后不会漏掉任何的关联关系;Deformable Attention只考虑某个输入与固定数量输入的关系,至于具体考虑哪些输入,由网络学习到的参数和输入的Q一起决定。 考虑多层feature map输入的Deformable Attention:

理解了Deformable Attention,那么这个公式也很好理解,此时的输入扩展到多层不同分辨率的feature map,与上式对比主要增加了针对多层和多分辨率的处理。

针对多层,我们先假设每层分辨率一样,那么在计算某个输入与其他固定数量个输入的关系时,不能再局限在这个输入所在的feature map,而是会扩展到多个feature map去寻找关联关系,公式中的L代表所有的feature map数量,不同的lll代表在不同的feature map上寻找输入并进行加权计算,例如权重计算A增加了层的维度,输入x也增加了层的维度;针对不同分辨率,这个就更简单了,将位置p进行归一化,结合每个feature map展开即可,例如原来只有一张图,分辨率100*100,针对一个位置(50,50)进行处理,现在有两张图,分辨率为100*100和50*50,针对一个位置(0.5,0.5)进行处理,实际取值时,用归一化的位置乘分辨率得到真正的索引再取值就好。总结

本文从原版Transformer出发,解析了其涉及的几个关键点,同时对比图像领域影响较大的Swin Transformer的改进点,以及针对后面会用到的一项关键技术Deformable Attention进行了相应的解析,为后面Transformer在自动驾驶感知中的应用打下基础,其实从Deformable Attention的分析中已经可以初步窥见应用Transformer处理多维度数据输入的端倪了,当然在实际的应用中还包含很多基于工程的设计和考虑,后面再慢慢分析。

本文链接地址:https://www.jiuchutong.com/zhishi/299869.html 转载请保留说明!

上一篇:【周末闲谈】畅想AR,AR领域迎来新风口(周末闲暇时光是什么意思)

下一篇:vue-cli创建vue项目详细步骤(vue-cli4创建项目)

  • 苹果x用一会后面就会发烫(苹果x用一会后屏幕变暗)

    苹果x用一会后面就会发烫(苹果x用一会后屏幕变暗)

  • 抖音的位置是不是和所在位置同步(抖音的位置是不是定位的)

    抖音的位置是不是和所在位置同步(抖音的位置是不是定位的)

  • 抖音的背景虚化在哪里(抖音的背景虚化怎么弄)

    抖音的背景虚化在哪里(抖音的背景虚化怎么弄)

  • 华为nova7怎样截屏(华为nova7怎样截视频)

    华为nova7怎样截屏(华为nova7怎样截视频)

  • 电脑结束进程后白屏了怎么办(电脑结束进程后白屏了)

    电脑结束进程后白屏了怎么办(电脑结束进程后白屏了)

  • iphonexsmax重启方法(苹果xsmax重启键在哪个地方)

    iphonexsmax重启方法(苹果xsmax重启键在哪个地方)

  • 手机连打印机离线状态怎么办(手机连打印机离线怎么办)

    手机连打印机离线状态怎么办(手机连打印机离线怎么办)

  • 微信出行健康码怎么申请(微信出行健康码在哪里找)

    微信出行健康码怎么申请(微信出行健康码在哪里找)

  • 5000mah充电宝能充多久(5000mah充电宝能充多少次电)

    5000mah充电宝能充多久(5000mah充电宝能充多少次电)

  • 华为手机运动步数不显示(华为手机运动步数不更新怎么处理)

    华为手机运动步数不显示(华为手机运动步数不更新怎么处理)

  • word文档怎么分享微信(word文档怎么分成四块)

    word文档怎么分享微信(word文档怎么分成四块)

  • v30pro支持无线充电吗(v30 pro 无线充)

    v30pro支持无线充电吗(v30 pro 无线充)

  • vivoy5s像素多少(vivo y5像素)

    vivoy5s像素多少(vivo y5像素)

  • 苹果手机能反向充电吗(苹果手机能反向给耳机充电吗)

    苹果手机能反向充电吗(苹果手机能反向给耳机充电吗)

  • 手机流量卡顿怎么办(手机流量卡顿怎么处理最好)

    手机流量卡顿怎么办(手机流量卡顿怎么处理最好)

  • AppleWatch Series5怎么打开飞行模式

    AppleWatch Series5怎么打开飞行模式

  • 手机栏显示hd怎样关掉(手机界面上显示hd)

    手机栏显示hd怎样关掉(手机界面上显示hd)

  • ios13存储其他怎么删(ios 存储 其他)

    ios13存储其他怎么删(ios 存储 其他)

  • 支付宝查steam交易账单(怎么在支付宝上查steam购买记录)

    支付宝查steam交易账单(怎么在支付宝上查steam购买记录)

  • 苹果xsmax自带无线耳机吗(苹果xs max有无线电功能吗)

    苹果xsmax自带无线耳机吗(苹果xs max有无线电功能吗)

  • 苹果x27pro配置(x27pro标配)

    苹果x27pro配置(x27pro标配)

  • 爱剪辑的黑屏视频素材在哪(爱剪辑视频黑屏)

    爱剪辑的黑屏视频素材在哪(爱剪辑视频黑屏)

  • redmi是小米还是红米(小米 redmi)

    redmi是小米还是红米(小米 redmi)

  • 堆内存和栈内存区别(堆内存和栈内存溢出)

    堆内存和栈内存区别(堆内存和栈内存溢出)

  • word表格里面的文字自动下一行(word表格里面的字怎么弄到中间)

    word表格里面的文字自动下一行(word表格里面的字怎么弄到中间)

  • 电脑qq邮件怎么发文件(电脑QQ邮件怎么发pdf)

    电脑qq邮件怎么发文件(电脑QQ邮件怎么发pdf)

  • Win7怎么更改缓存空间? Win7设置缓存空间的技巧(win7缓存设置方法)

    Win7怎么更改缓存空间? Win7设置缓存空间的技巧(win7缓存设置方法)

  • 鸿蒙OS蓝牙耳机怎么查看电量? 鸿蒙OS查看蓝牙耳机剩余电量的技巧(鸿蒙系统蓝牙耳机声音小怎么办)

    鸿蒙OS蓝牙耳机怎么查看电量? 鸿蒙OS查看蓝牙耳机剩余电量的技巧(鸿蒙系统蓝牙耳机声音小怎么办)

  • 商业保险进项税额转出影响成本吗
  • 自查补交以前年度增值税怎么做账
  • 发票税率开错了怎么办
  • 税负转嫁的概念是什么
  • 其他权益工具影响哪些报表
  • 小规模增值税纳税申报
  • 清包工可以有一部分小料吗
  • 长期股权投资的账务处理
  • 住房公积金的会计处理
  • 处理固定资产需要交企业所得税吗
  • 进项多销项少
  • 税务改革方向
  • 小规模增值税附加税
  • 税后利润是净利润还是利润总额
  • 计提减值的固定资产处置
  • 理财认购申购
  • 美团佣金收费标准结构图
  • 临时工工资的会计处理和税务处理
  • 工资及社保外包服务
  • php多表联合查询
  • rrpcsb.exe - rrpcsb是什么进程 有什么用
  • linux开机出现grub解决方法
  • php的数组函数
  • 研发费用的会计和税法的不同
  • PHP:pcntl_signal_dispatch()的用法_PCNTL函数
  • 职工福利费会计科目怎么写
  • journal.tmp
  • 金银首饰零售商属于消费税纳税人吗
  • 民办幼儿园需要什么资质
  • vue组件教程
  • 关于低值易耗品的说法中不正确的是
  • 车间管理人员为什么是制造费用
  • 铁路运输企业受托代征 印花税
  • 公司购买烟酒怎么入账
  • 收入和成本的原则是什么
  • 无偿提供建筑服务账务处理
  • 科技型中小企业享受优惠税收政策
  • 入库单入账税务会查吗
  • 劳动保护费是否可以抵扣
  • 专项资金的账务处理 借:银行存款 贷:其他应付款
  • 网上交税已经缴费怎么退
  • 印花税缴款了发票怎么查
  • 期末调汇的会计怎么做账
  • 车辆上牌的费用应付多少?
  • 账务处理程序是指什么
  • 工资社保医保计算
  • 应交税费会计核算
  • 去年印花税今年年初交的税金及附加做今 年可以吗
  • 电子监控系统安装与维修
  • 公司员工聚餐属于什么费用
  • 工程款外地预缴哪些税
  • 在建工程明细科目怎么设置
  • mysql二进制安装教程
  • 数据库句柄是什么意思
  • mysql登陆error2002
  • mysql字符集设置命令
  • mysql操作教程
  • macos使用方法
  • gb4.exe
  • xp系统怎么设置网络传输文件
  • Windows正在启动卡死
  • nodejs使用express如何跨域
  • unity拖进模型什么也看不到
  • 投影变换的使用方法
  • 简单模拟电路图
  • SQLite -- 嵌入式关系型数据库
  • 手游接入
  • 设置cmd命令
  • perl -pi
  • Node.js中的事件循环是什么意思
  • jquery 模态框实现
  • jquery中判断某个类是否存在的方法
  • canvas基础
  • jQuery插件AjaxFileUpload实现ajax文件上传
  • python的介绍
  • 电子专票票种核定
  • 卷票是什么票
  • 什么是个人所得税起征点
  • 税务注销相关文件
  • 年度营业账簿印章怎么写
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设