位置: IT常识 - 正文

MAE详解

编辑:rootadmin
MAE详解

目录

一、介绍

二、网络结构

1. encoder

2. decoder

3. LOSS

三、实验


推荐整理分享MAE详解,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

全文参考:论文阅读笔记:Masked Autoencoders Are Scalable Vision Learners_塔_Tass的博客-CSDN博客

masked autoencoders(MAE)是hekaiming大佬又一新作,其做法很简单,就是随机mask掉一部分patches并重建这部分丢失的像素,可看作是一个可扩展的(scalable)自监督学习器,能极大加速模型的训练速度并提升准确率。下游迁移性能优于有监督预训练,并有良好的的scaling(可扩展性)。

一、介绍

mask autoencoders是一种更一般的去噪方式。

语言的信息密度更高,mask掉部分文字可能使得语义完全不同,这个任务会导致更复杂的语言理解;而图像的冗余度就很高,因此mask掉部分patch,大大减少冗余信息。并创建一个很有挑战性的自监督创建任务,提升对图像的整体理解。

AE的decoder将潜在表示映射回输出,相比于语言的重建,图像像素的重建,语义级别更低。decoder往往仅需要轻量级即可,比编码器更浅更窄。但我们发现,对于图像,decoder的设计很大程度上影响着潜在表示的语义表达水平。

二、网络结构MAE详解

我们设计的是非对称的encoder decoder,encoder仅在未被mask的patch上进行编码,生成潜在表示,decoder再基于潜在表示和被mask的patch一起重建。

1. encoder

这里,encoder对于被mask的patch,并不是用0填充,而是直接忽略,因此patch数量的减少,能直接降低计算量,加快训练速度(75%的mask率就相当于加速3倍),且降低了内存消耗使得可以用更大模型。

2. decoder

而decoder仅在预训练阶段进行重构任务(即在下游任务finetune的时候是不需要decoder的),因此decoder的设计可以灵活。

encoder的加深有利于潜在表示能表达更抽象的语义信息,而decoder可以设计的更浅更窄,我们使用单个的transfomer这种小型解码器也可以表现出色,且速度快。

3. LOSS

我们使用原始图像与重构图像在mask patch部分的MSE损失(均方误差)。一个变体是,用每个patch的mean std进行归一化后,计算每一个patch的归一化像素的MSE,这个可以明显提高表示质量。

三、实验

(与有监督/无监督的预训练方法进行比较)

1)比MOCOv3的预训练finetune效果更好

2)在目标检测任务中,ViT与FPN搭配更好,与有监督的预训练相比,MAE要更优。

自己的总结:MAE是一种很好的自监督训练器,其训练的预训练模型,比有监督的、MOCO自监督的,在下游任务finetune上都取得更好的效果

本文链接地址:https://www.jiuchutong.com/zhishi/299587.html 转载请保留说明!

上一篇:less变量

下一篇:路由vue-route的使用(vue router 路由参数)

  • ppt计时器怎么设置

    ppt计时器怎么设置

  • applewatch怎么看睡眠质量(applewatch怎么看微信)

    applewatch怎么看睡眠质量(applewatch怎么看微信)

  • 微信可以发压缩文件夹吗(微信可以发压缩文件不)

    微信可以发压缩文件夹吗(微信可以发压缩文件不)

  • word文档怎样添加下划线(word文档怎样添加标题)

    word文档怎样添加下划线(word文档怎样添加标题)

  • 苹果手机aae文件是什么(苹果手机aee文件)

    苹果手机aae文件是什么(苹果手机aee文件)

  • airpods怎么看左右电量(airpods怎么看左耳和右耳是不是一套的)

    airpods怎么看左右电量(airpods怎么看左耳和右耳是不是一套的)

  • jovi可以语音唤醒吗(jovi语音设置)

    jovi可以语音唤醒吗(jovi语音设置)

  • 闪充充电器可以给普通手机充电吗(闪充充电器可以充别的手机吗)

    闪充充电器可以给普通手机充电吗(闪充充电器可以充别的手机吗)

  • 抖音作品上的三角形数字是什么意思(抖音作品上的三字是什么)

    抖音作品上的三角形数字是什么意思(抖音作品上的三字是什么)

  • 斗鱼昵称就是账号吗(斗鱼昵称为什么最少5个字)

    斗鱼昵称就是账号吗(斗鱼昵称为什么最少5个字)

  • 苹果充电器充了一会就停了(苹果充电器充了一下就不充了)

    苹果充电器充了一会就停了(苹果充电器充了一下就不充了)

  • 联想小新怎么强制关机(联想小新怎么强制关机重启电脑)

    联想小新怎么强制关机(联想小新怎么强制关机重启电脑)

  • 网线一般用哪几根线(网线一般用哪几芯线)

    网线一般用哪几根线(网线一般用哪几芯线)

  • 华为p9plus支持快充吗(华为p9支持快充闪充吗)

    华为p9plus支持快充吗(华为p9支持快充闪充吗)

  • mate10支持多少瓦快充(mate10支持多少瓦充电)

    mate10支持多少瓦快充(mate10支持多少瓦充电)

  • 淘宝规则的适用者是(淘宝规则的适用范围)

    淘宝规则的适用者是(淘宝规则的适用范围)

  • 苹果x防尘网破了能换吗(苹果x防尘网破损怎么办)

    苹果x防尘网破了能换吗(苹果x防尘网破损怎么办)

  • 苹果反向充电怎么设置(苹果反向充电怎么开启)

    苹果反向充电怎么设置(苹果反向充电怎么开启)

  • vivox27微信美颜怎么打开(vivox27微信美颜怎么设置)

    vivox27微信美颜怎么打开(vivox27微信美颜怎么设置)

  • 华为三键设置在哪(华为智能手机怎么设置三键)

    华为三键设置在哪(华为智能手机怎么设置三键)

  • 华为plk一al10什么型号(华为手机plkal10什么型号)

    华为plk一al10什么型号(华为手机plkal10什么型号)

  • 滴滴可以24小时接单吗(滴滴网约车电话人工服务24小时)

    滴滴可以24小时接单吗(滴滴网约车电话人工服务24小时)

  • 全民k歌有访客记录吗(全民k歌平台)

    全民k歌有访客记录吗(全民k歌平台)

  • H5页面实现微信授权登录(微信h5页面设计)

    H5页面实现微信授权登录(微信h5页面设计)

  • 应税和课税是什么意思
  • 小规模小于30万免税会计分录
  • 印花税的计税依据为各种应税凭证上所记载的计税金额
  • 报税时提示缺少相关组件怎么解决
  • 发票认证延期抵扣啥意思
  • 无形资产减值损失可以转回吗
  • 复式记账法哪本书提到过?
  • 装饰设计费计入什么科目
  • 新会计准则最大变化
  • 合同中止发票已入账怎么处理?
  • 企业个人所得税申报系统官网
  • 药店税票税点
  • 清算时土地增值税计税依据
  • 个人独资企业也要报税吗
  • 计入成本的费用包括
  • 投资款怎么做会计科目
  • 预提差率费怎么记账
  • 如何开展分公司
  • 新公司会计建账流程
  • 半成品核算工作步骤及要求
  • 其他应付款科目核算的内容包括
  • 无法找到脚本文件vbs怎么办
  • 为什么浏览器自动打开
  • php防止网站被攻击怎么办
  • win7系统中怎样
  • win10电脑时间改了又跳回去
  • le启动exe是什么意思
  • 先开票后收款的发票怎么备注
  • 分配辅助生产成本时可能借记的科目有
  • 超市内账会计一般每月做什么
  • 菲律宾薄荷岛疫情最新消息
  • php curl_multi_init
  • lama羊驼
  • 人工智能业务架构图
  • zarchiver 小米
  • 公司基本户被冻结,其它账户也会被冻吗?
  • 体检的收据是什么
  • 企业财务准则最新
  • 企业计提养老保险分录
  • 高新技术研发的重要性
  • 帝国cms移动端
  • 织梦标签理解
  • 个税手续费返还计入哪个科目
  • 小规模纳税人通行费可以抵扣吗
  • 即征即退收入不能税前扣除
  • 教育培训行业税目分类
  • 企业所得税业务招待费怎么调整
  • 发票类别包含哪几种
  • 红字发票销项税额账务处理
  • 投资房地产的后续计量有哪几种模式
  • 行政事业单位拨款请示在前还是发票在前
  • 现代服务业营改增
  • 自产农产品加工成产品销售怎么抵扣
  • 交税务局的工会经费现金流
  • 电商行业的采购
  • 自然人系统如何恢复数据
  • 百分百控股的企业
  • 工程施工科目核算内容
  • 深入浅出意思
  • 如何清除sql2008r2日志
  • sql2008数据库置疑
  • xp系统怎么提升性能
  • centos7.6ssh
  • u盘启动pe工具
  • mac的分辨率怎么调
  • 苹果系统声音怎么设置方法
  • win7系统怎么关闭防火墙设置
  • msswchx.exe - msswchx进程是什么文件 有何作用
  • win7系统运行在哪
  • javascript 高级
  • 一个监控网卡流量够用吗
  • 注释标签的内容会显示在浏览器窗口中
  • vue父向子传方法
  • scrollview不滚动
  • javascript教程完整版
  • Python cx_freeze打包工具处理问题思路及解决办法
  • 不使用flash
  • python中txt文件的读写
  • 软件销售增值税优惠
  • 超豪华小汽车需要在什么环节纳税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设