位置: IT常识 - 正文

详细解读:MIT经典的语义分割数据集ADE20K,附下载链接(mit?)

编辑:rootadmin
详细解读:MIT经典的语义分割数据集ADE20K,附下载链接

推荐整理分享详细解读:MIT经典的语义分割数据集ADE20K,附下载链接(mit?),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mit it,mit?,mit mit,mit it,mit的mfin,mit?,mit经济,mit经济,内容如对您有帮助,希望把文章链接给更多的朋友!

小伙伴们,乐于分享的OpenDataLab来啦!这次,给大家带来一份ADE20K 数据集的详细使用“攻略”,助大家模型训练一臂之力。

这个由MIT 发布的大型数据集,可用于场景感知、解析、分割、多物体识别和语义理解,不容错过。

一、数据集简介

发布方:MIT CSAIL Computer Vision Group

发布时间:2016

背景:视觉场景的语义理解是计算机视觉的关键问题。尽管社区在数据收集方面做出了努力,但仍然很少有图像数据集涵盖广泛的场景和对象类别,而且缺乏具有用于场景理解的逐像素注释。

简介:ADE20K涵盖了场景、对象、对象部分的各种注释,在某些情况下甚至是部分的部分。有25k张复杂日常场景的图像,其中包含自然空间环境中的各种对象。每个图像平均有19.5个实例和10.5个对象类。

二、数据集详细信息

1. 标注数据量

● 训练集:20210张图像

● 验证集:2000张图像

● 测试集:3000张图像

2. 标注类别

数据集的标注包含三种视觉概念:

● 离散对象(discrete object),它是具有明确定义的形状的事物,例如汽车、人;

● 包含无定形背景区域的东西(stuff),例如草、天空;

● 对象部分(object part),它是某些具有功能意义的现有对象实例的组件,例如头部或腿部。

三种视觉概念共标注类别3169类,其中离散对象和无定形背景区域的东西有2693类。对象部分有476类。

3. 可视化

图1:第一行显示样本图像,第二行显示对象的标注,第三行显示对象部分的标注。颜色方案同时编码对象类别和对象实例,即不同的对象类别具有较大的色差,而来自同一对象类别的不同实例具有较小的色差(例如,第一张图像中的不同人实例具有略微不同的颜色)。

三、数据集任务定义及介绍1. 场景解析

● 定义

场景解析是将整个图像密集地分割成语义类,其中每个像素都被分配一个类标签,例如树的区域和建筑物的区域。

● 基准

作者选择 ADE20K 数据集中按其总像素比排名的前150个类别,并构建 ADE20K 的场景解析基准,称为 SceneParse150。

在150个类别中,有35个东西类(即墙壁、天空、道路)和115个离散对象类(即汽车、人、桌子)。150个类的标注像素占数据集所有像素的92.75%,其中无定形背景区域的东西类占60.92%,离散对象类占31.83%。

结果以通常用于语义分割的四个指标报告:

- Pixel accuracy(像素精度):表示正确分类的像素的比例;

- Mean accuracy(平均准确度):表示在所有类别中平均正确分类的像素的比例;

- Mean IoU(平均 IoU):表示预测像素和真实像素之间的交并比,在所有类上平均;

详细解读:MIT经典的语义分割数据集ADE20K,附下载链接(mit?)

- Weighted IoU(加权IoU):表示按每个类的总像素比加权的 IoU。

2. 实例分割

● 定义

实例分割是检测图像中的对象实例,并进一步生成对象的精确分割掩码。它与场景解析任务的不同之处在于,场景解析中没有分割区域的实例概念,而在实例分割中,如果场景中有三个人,则需要网络对每个人区域进行分割。

● 基准

为了对实例分割的性能进行基准测试,作者从完整数据集中选择了100个前景对象类别,将其称为 InstSeg100。InstSeg100 中对象实例总数为 218K,平均每个对象类别有2.2K个实例,每个图像有10个实例;除船舶外的所有对象都有超过100个实例。

结果以如下指标报告:

一个总体度量平均精度 mAP,以及不同对象尺度上的度量,用mAP_S(小于32×32像素的对象)、mAP_M(在32×32和96×96像素之间)和 mAP_L(大于96×96像素)。

四、数据集文件结构解读

目录结构:(语言:Python)

ADE20K_2021_17_01/ images/ training/ cultural/ apse__indoor/ <filename0>.jpg # 原图像 <filename0>_seg.png # 分割图,通道R和G编码对象类别ID, # 通道B编码实例ID <filename0>_parts_{i}.png # 部件分割图,i表示第i层部件,如car # 属于第一层部件,wheel属于第二层部件 <filename0>.json # 存储图像中所有实例的多边形,属性等信息 <filename0>/ # 存储图像中所有实例mask的目录 instance_000_<filename0>.png instance_001_<filename0>.png ... ... ... validation/ cultural/ apse__indoor/ <filename1>.jpg <filename1>_seg.png <filename1>_aprts_{i}.png <filename1>.json <filename1>/ instance_000_<filename1>.png instance_001_<filename1>.png ... ... ... ...    index_ade20k.pkl                    # 数据和存储图像的文件夹的统计信息

<filename>.json文件格式:

{ "annotation": { "filename": "<filename>.jpg", # 图像名称 "folder": "ADE20K_2021_17_01/images/ADE/training/urban/street", # 图像存储的相对路径 "imsize": [ # 图像高、宽、通道数 1536, 2048, 3 ], "source": { # 图像来源信息 "folder": "static_sun_database/s/street", "filename": "labelme_acyknxirsfolpon.jpg", "origin": "" }, "scene": [ # 图像场景信息 "outdoor", "urban", "street" ], "object": [ # 标注实例列表 { "id":0, # 实例ID "name":"traffic light, traffic signal, stoplight", # 实例标签 "name_ndx": 2836, # 实例标签 "hypernym": [ # 上位词 "traffic light, traffic signal, stoplight", "light", "visual signal", "signal, signaling, sign", "communication", "abstraction, abstract entity", "entity" ], "raw_name": "traffic light", "attributes": [], # 属性 "depth_ordering_rank": 1, # 深度顺序 "occluded": "no", # 遮挡情况 "crop": "0", "parts": { # 部件信息 "hasparts": [], "ispartof": [], "part_level": 0 }, "instance_mask": "<filename>/instance_000_<filename>.png", # 对应的实例mask "polygon": { # 多边形坐标 "x": [346, ...], "y": [781, ...] }, "saved_date": "18-Dec-2005 06:56:48" }, ... ]

图2: index_ade20k.pkl 文件用Python打开后的格式

index_ade20k.pkl 里各个字段含义:

'filename':长度为 N=27574 的数组,带有图像文件名。

'folder':包含图像文件夹名称的长度为 N 的数组。

'objectIsPart':是对象部分的对象类别. 大小为 [C, N] 的数组,计算一个对象在每个图像中成为一部分的次数。objectIsPart[c,i]=m 如果在图像 i 中对象类 c 是另一个对象的一部分 m 次。

'objectPresence':大小为 [C, N] 的数组,每个图像的对象计数。objectPresence(c,i)=n 如果在图像 i 中有 n 个对象类 c 的实例。

'objectcounts':长度为 C 的数组,每个对象类的实例数。

'objectnames':带有对象类名的长度为 C 的数组。

'proportionClassIsPart':长度为 C 的数组,其中 c 类作为一部分的次数比例。如果 ratioClassIsPart[c]=0 则意味着这是一个主要对象(例如,汽车、椅子……)。

'scene':长度为 N 的数组,为每个图像提供场景名称(与 Places 数据库相同的类)

'wordnet_found':长度为 C 的数组。它表示是否在 Wordnet 中找到了对象名。

'wordnet_level1':长度为C 的列表。WordNet 关联的列表。

'wordnet_synset':长度为 C 的列表。每个对象名称的 WordNet 同义词集。

'wordnet_hypernym':长度为 C 的列表。每个对象名称的 WordNet 上位词列表。

'wordnet_gloss':长度为 C 的列表。存的是WordNet同义词集合对应的定义。

'wordnet_frequency':长度为 C 的数组。每个WordNet同义词集合出现的次数。

'description':对index ade20k.pkl中每个字段的描述。

五、数据集资源

OpenDataLab平台已经上架了ADE20K数据集,为大家提供了完整的数据集信息、流畅的下载速度,快来体验吧!

ADE20K 2021数据集

参考资料:

[1]官网:https://groups.csail.mit.edu/vision/datasets/ADE20K/

[2]论文:Semantic Understanding of Scenes through ADE20K Dataset. Bolei Zhou, Hang Zhao, Xavier Puig, Tete Xiao, Sanja Fidler, Adela Barriuso and Antonio Torralba. International Journal on Computer Vision (IJCV).[PDF]

[3]Github:https://github.com/CSAILVision/ADE20K

更多数据集上架动态、更全面的数据集内容解读、最牛大佬在线答疑、最活跃的同行圈子……欢迎添加微信opendatalab_yunying 加入OpenDataLab官方交流群。

本文链接地址:https://www.jiuchutong.com/zhishi/300276.html 转载请保留说明!

上一篇:亲测有效,低调使用,这里有个白票ChatGPT的方法(低调低调)

下一篇:springboot+chatgpt+chatUI Pro开发智能聊天工具

  • amazfit怎么连接手机(amazfit怎么连接zepp)

    amazfit怎么连接手机(amazfit怎么连接zepp)

  • 支付宝健康码怎么添加孩子的(支付宝健康码怎么解除绑定)

    支付宝健康码怎么添加孩子的(支付宝健康码怎么解除绑定)

  • tsa密码锁怎么设置(tsa密码锁修改密码)

    tsa密码锁怎么设置(tsa密码锁修改密码)

  • qq怎么设置收藏不让人看到(QQ怎么设置收藏密码)

    qq怎么设置收藏不让人看到(QQ怎么设置收藏密码)

  • 快对作业怎么拍照搜题(快对作业怎么拍答案)

    快对作业怎么拍照搜题(快对作业怎么拍答案)

  • iphonex跑分多少正常

    iphonex跑分多少正常

  • qq阅读怎么一直免费(最新的qq阅读怎么一直有广告)

    qq阅读怎么一直免费(最新的qq阅读怎么一直有广告)

  • powerpoint的作用(powerpoint主要作用)

    powerpoint的作用(powerpoint主要作用)

  • 苹果11动态壁纸怎么设置声音(苹果11动态壁纸怎么设置自己的视频)

    苹果11动态壁纸怎么设置声音(苹果11动态壁纸怎么设置自己的视频)

  • 小米牙刷充电多久充满(小米牙刷充满电)

    小米牙刷充电多久充满(小米牙刷充满电)

  • 苹果数据线多长(苹果数据线多长时间保修)

    苹果数据线多长(苹果数据线多长时间保修)

  • vivo手机怎样把即刻天气添加到桌面(vivo手机怎样把游戏隐藏起来)

    vivo手机怎样把即刻天气添加到桌面(vivo手机怎样把游戏隐藏起来)

  • oppor15屏幕不亮但有振动(oppor15屏幕不亮充电都正常)

    oppor15屏幕不亮但有振动(oppor15屏幕不亮充电都正常)

  • 华为手机扬声器清灰(华为手机扬声器进水了怎么办)

    华为手机扬声器清灰(华为手机扬声器进水了怎么办)

  • 三星exynos980相当于麒麟多少(三星EXynos980相当于骁龙多少)

    三星exynos980相当于麒麟多少(三星EXynos980相当于骁龙多少)

  • md12h用什么直接代换(md12hs代换)

    md12h用什么直接代换(md12hs代换)

  • oppo手机截屏图片在哪(oppo手机截屏图片在哪个文件夹)

    oppo手机截屏图片在哪(oppo手机截屏图片在哪个文件夹)

  • pentium是指(pentium通常所指的什么型号)

    pentium是指(pentium通常所指的什么型号)

  • 苹果手表怎么验证国行(苹果手表怎么验证是不是正品)

    苹果手表怎么验证国行(苹果手表怎么验证是不是正品)

  • 怎样下载电影到桌面(怎样下载电影到移动硬盘)

    怎样下载电影到桌面(怎样下载电影到移动硬盘)

  • 128和256内存的区别(128与256内存价格差)

    128和256内存的区别(128与256内存价格差)

  • 苹果xsmax怎样通话录音

    苹果xsmax怎样通话录音

  • ug最初界面恢复设置(ug6.0界面恢复初始设置)

    ug最初界面恢复设置(ug6.0界面恢复初始设置)

  • 广告图片有哪些格式(广告图片及其解读)

    广告图片有哪些格式(广告图片及其解读)

  • comet.exe进程是什么意思 有哪些作用 comet进程信息查询(进程cmd.exe)

    comet.exe进程是什么意思 有哪些作用 comet进程信息查询(进程cmd.exe)

  • 孕妇能吃荔枝吗(孕妇能吃荔枝吗 孕晚期)

    孕妇能吃荔枝吗(孕妇能吃荔枝吗 孕晚期)

  • 基于Java+Springboot+vue在线版权登记管理系统设计实现

    基于Java+Springboot+vue在线版权登记管理系统设计实现

  • 在外地预缴的印花税如何扣除
  • 税后利润向股东分配股息
  • 代付的费用收不收手续费
  • 三项经费包括在哪些内容
  • 长期待摊一般摊几年
  • 社保利息计入什么科目
  • 租房专项扣除有上限吗
  • 事业单位合并财务交接
  • 居民个人根据各项所得的收入 公益捐赠
  • 房地产企业土地使用税
  • 预付装修费的会计分录
  • 进货有商业折扣商品怎么入库
  • 来料加工税务账应采取哪种核算方式?
  • 固定资产出售增值税税率
  • 库存商品记错了怎样写分录
  • 专项应付款转资本公积
  • 通讯费企业所得税计算
  • 在年度汇算清缴前取得去年成本发票
  • 预缴的企业所得税可以扣除吗
  • 未开票收入为负数如何写说明
  • 通用机打发票单位名称打不下怎么办
  • 小规模纳税人实行简易征收办法
  • 增值税季度报税
  • 固定资产减值准备属于什么科目
  • 收购报废车有利润吗
  • 商业写字楼
  • 报销差旅费如何报税
  • 存货跌价准备可以转回吗?
  • ibm笔记本进bios
  • 收到政府的专项资金
  • linux 网络故障
  • 车辆购置税会计账务处理
  • 工程收入和成本的区别
  • php调用图片
  • PHP:zip_entry_filesize()的用法_Zip函数
  • 应付职工薪酬的明细科目有哪些
  • 发票备注栏可以写详见清单吗
  • 无偿接收股权
  • vue调用后端接口的方法
  • LangChain与大型语言模型(LLMs)应用基础教程:信息抽取
  • 工装进福利费还是劳保费
  • java图片转换成文件流
  • vue-plugin-hiprint vue hiprint vue使用hiprint打印控件VUE HiPrint HiPrint简单使用
  • mail命令发送邮件
  • wordpress site
  • 财务软件费用可以抵税吗
  • 财务报表审计的基础是独立性和专业性
  • 疫情期间提涨薪合适吗
  • 存货跌价准备是什么意思
  • 关于小规模纳税人的说法正确的是
  • 回购注销库存股的会计处理
  • 现金往来款怎么做账
  • 租赁公司账务科目
  • 我国税收税类中的流转税
  • 产品生产完工入库
  • 车间不生产折旧计提放哪里
  • 小规模购入固定资产怎么做账
  • 免征的附加税怎么做账
  • 对方发票丢失怎么申报丢失
  • mysql --help
  • openoffice使用
  • windows8开机启动项在哪里设置
  • korok是什么文件
  • linux消息队列阻塞
  • 开启win10
  • win10切换登陆账户为administrator
  • Visual Studio 2013 Tools for Unity安装目录,Visual Studio 2013 Tools.unitypackage
  • extjs grid设置某列背景颜色和字体颜色的方法
  • vue拦截器的作用及使用
  • js 验证数字
  • 利用用英文怎么翻译
  • node 微信公众号开发
  • 从零开始的基础篇
  • digitalocean收费
  • android接听电话
  • js实现的功能
  • 油票增值税专用发票几个点开
  • 纳税申报的期限是多久
  • 怎么查了?
  • 国家税务总局黑龙江电子税务局下载
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设