位置: IT常识 - 正文

pytorch初学笔记(六):DataLoader的使用(pytorch入门教程(非常详细))

编辑:rootadmin
pytorch初学笔记(六):DataLoader的使用

目录

一、DataLoader介绍

1. DataLoader作用

2. 常用参数介绍 

二、DataLoader的使用

1. 导入并实例化DataLoader

2. 具体使用

2.1 数据集中数据的读取

2.2 DataLoader中数据的读取

3. 使用tensorboard可视化效果

3.1 改变batchsize 

3.2 改变drop_last

3.3 改变shuffle


一、DataLoader介绍1. DataLoader作用

推荐整理分享pytorch初学笔记(六):DataLoader的使用(pytorch入门教程(非常详细)),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pytorch零基础,pytorch教程,pytorch零基础入门,pytorch 入门,pytorch 快速入门,pytorch零基础入门,pytorch零基础入门,pytorch 入门教程,内容如对您有帮助,希望把文章链接给更多的朋友!

        DataLoader是一个可迭代的数据装载器,组合了数据集和采样器,并在给定数据集上提供可迭代对象。可以完成对数据集中多个对象的集成。

2. 常用参数介绍 

torch.utils.data — PyTorch 1.13 documentation

CLASS  DataLoader

torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=None, sampler=None, 

batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, 

drop_last=False, timeout=0, worker_init_fn=None, multiprocessing_context=None, 

generator=None, *, prefetch_factor=2, persistent_workers=False, pin_memory_device='') 

先导概念介绍:

Epoch: 所有训练样本都已输入到模型中,称为一个epochIteration: 一批样本(batch_size)输入到模型中,称为一个Iteration,Batchsize: 一批样本的大小, 决定一个epoch有多少个Iteration

常用的主要有以下五个参数:

dataset(数据集):需要提取数据的数据集,Dataset对象batch_size(批大小):每一次装载样本的个数,int型 shuffle(洗牌):进行新一轮epoch时是否要重新洗牌,Boolean型num_workers:是否多进程读取机制drop_last:当样本数不能被batchsize整除时, 是否舍弃最后一批数据

二、DataLoader的使用

        我们使用CIFAR10的测试数据集来完成DataLoader的使用。

1. 导入并实例化DataLoader

        创建一个dataloader,设置批大小为4,每一个epoch重新洗牌,不进行多进程读取机制,不舍弃不能被整除的批次。

#导入数据集的包import torchvision.datasets#导入dataloader的包from torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWriter#创建测试数据集test_dataset = torchvision.datasets.CIFAR10(root="./CIRFA10",train=False,transform=torchvision.transforms.ToTensor())#创建一个dataloader,设置批大小为4,每一个epoch重新洗牌,不进行多进程读取机制,不舍弃不能被整除的批次test_dataloader = DataLoader(dataset=test_dataset,batch_size=4,shuffle=True,num_workers=0,drop_last=False)2. 具体使用2.1 数据集中数据的读取

        由于数据集中的数据已经被我们转换成了tensor型,我们用dataset[0]输出第一张图片,使用shape属性输出tensor类型的大小,target代表图片的标签。 

img,target = test_dataset[0]print(img.shape,target)

        可以看到图片有RGB3个通道,大小为32*32,target为3。

2.2 DataLoader中数据的读取

        在dataset中,每一个对象元组由一张图片对象img和一个标签target组成;

        而dataloader中会分别对一个批次中的图片和标签进行打包,因此dataloader中,每一个对象由元组由batchsize张图片对象imgs和batchsize个标签targets组成。

对一个批次中的所有图片对象进行打包,形成一个对象,我们叫它imgs对一个批次中所有的标签进行打包,形成一个对象,我们叫它targets

        我们需要通过for循环来取出loader中的对象,loader中的对象个数=数据集中对象个数/batch_size,故应为10000/4=2500个对象。

        核心代码:

for data in test_dataloader: imgs,targets = data print(imgs.shape) print(targets) #导入数据集的包import torchvision.datasets#导入dataloader的包from torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWriter#创建测试数据集test_dataset = torchvision.datasets.CIFAR10(root="./CIRFA10",train=False,transform=torchvision.transforms.ToTensor())#创建一个dataloader,设置批大小为4,每一个epoch重新洗牌,不进行多进程读取机制,不舍弃不能被整除的批次test_dataloader = DataLoader(dataset=test_dataset,batch_size=4,shuffle=True,num_workers=0,drop_last=False)#测试数据集中第一张图片对象img,target = test_dataset[0]print(img.shape,target)#打印数据集中图片数量print(len(test_dataset))#loader中对象for data in test_dataloader: imgs,targets = data print(imgs.shape) print(targets)#dataloader中对象个数print(len(test_dataloader))

        loader中的对象格式:

imgs的维度变成了4*3*32*32,即四张图片,每张图片3个通道,每张图片大小为32*32。targets里有4个target,分别是四张图片的target。pytorch初学笔记(六):DataLoader的使用(pytorch入门教程(非常详细))

       loader中的对象个数:

        2500个,数据集中图片个数为10000,10000/4=2500,验证正确。说明loader中数据按4个一组打包。 

3. 使用tensorboard可视化效果3.1 改变batchsize 

        修改数据集的batchsize为64,writer中调用的方法为add_images(),因为需要读取的图片有多张。

#导入数据集的包import torchvision.datasets#导入dataloader的包from torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWriter#创建测试数据集test_dataset = torchvision.datasets.CIFAR10(root="./CIRFA10",train=False,transform=torchvision.transforms.ToTensor())#创建一个dataloader,设置批大小为64,每一个epoch重新洗牌,不进行多进程读取机制,不舍弃不能被整除的批次test_dataloader = DataLoader(dataset=test_dataset,batch_size=64,shuffle=True,num_workers=0,drop_last=False)writer = SummaryWriter("log")#loader中对象step = 0for data in test_dataloader: imgs,targets = data writer.add_images("loader",imgs,step) step+=1writer.close()

结果如下所示,可以看到一个step中有64张图片。

        但是我们发现step156时只取了16张图片,是因为10000张图片每次取64张是不能整除的,因此最后剩下了16张,单独放在最后一个step中,对最后剩余数量的图片进行保留是因为我们设置的drop_last=False。

 

3.2 改变drop_last

        如果我们改变drop_last=True,则不会保留最后的16张图片,会被舍弃,只保留能被整除的批次。

 

        结果如下所示,可以看到最后一步为155步,没了最后的16张图片,只保留了所有能整除的64的step。 

3.3 改变shuffle

        每一轮epoch之后就是分配完了一次数据,而shuffle决定了是否在新一轮epoch开始时打乱所有图片的属性进行分配。

        在代码中epoch就是最外层的循环,假设我们的epoch=2,即需要分配两次数据:

shuffle=TRUE代表第一轮循环结束后会打乱数据集中所有图片的顺序重新进行分配。shuffle=FALSE代表第一轮循环结束后不打乱数据集中所有图片的顺序,还是按原顺序进行分配。

3.3.1 shuffle=False时

#导入数据集的包import torchvision.datasets#导入dataloader的包from torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWriter#创建测试数据集test_dataset = torchvision.datasets.CIFAR10(root="./CIRFA10",train=False,transform=torchvision.transforms.ToTensor())#创建一个dataloader,设置批大小为64,每一个epoch重新洗牌,不进行多进程读取机制,不舍弃不能被整除的批次test_dataloader = DataLoader(dataset=test_dataset,batch_size=64,shuffle=False,num_workers=0,drop_last=True)writer = SummaryWriter("log")#loader中对象for epoch in range(2): step = 0 for data in test_dataloader: imgs, targets = data writer.add_images("Epoch:{}".format(epoch), imgs, step) step += 1writer.close()

        可以看到epoch=0和epoch=1的每一个step中的图片都是分配的相同的,说明每一轮大循环开始前没有在数据集中重新打乱顺序。

3.3.2 shuffle=True时

       可以看到epoch=0和epoch=1的每一个step中的图片不同了,说明每一轮大循环开始前都在数据集中重新打乱了顺序。

参考资料 

系统学习Pytorch笔记三:Pytorch数据读取机制(DataLoader)与图像预处理模块(transforms)_翻滚的小@强的博客-CSDN博客_dataloader读取顺序

DataLoader的使用_哔哩哔哩_bilibili 

本文链接地址:https://www.jiuchutong.com/zhishi/289781.html 转载请保留说明!

上一篇:如何自己搭建一个ai画图系统? 从0开始云服务器部署novelai(如何自己搭建一个邮箱服务器)

下一篇:【UML】-- 顺序图练习题含答案(自动售货机、学生选课、提款机、购买地铁票、洗衣机工作)(uml中的顺序图由什么组成)

  • 增值税发票如何抵扣税款
  • 建筑业印花税核定征收
  • 公司向个人借款是否合法
  • 个人社保部分公司承担可以入费用吗
  • 补贴收入是否缴税
  • 税务开票系统如何导入客户信息
  • 机票行程单能报销几次
  • 季末资产总额填错了要紧吗
  • 发票报送失败怎么弄
  • 广告业务增值税税率
  • 可供出售金融资产计入什么科目
  • 销售毛利率算法
  • 其它应付款是否可以直接冲收入呢?
  • 土地评估费计入什么会计科目
  • 未交税金期末数
  • 普通发票计量单位没填
  • 专票的有效期是什么意思
  • 国家税务局通用定额发票还能用吗
  • 投资性房地产其他综合收益递延所得税
  • 填制和审核凭证是什么意思
  • 增值税抵扣联退税多少
  • 哪些资产减值损失可以 转回,哪些不能?
  • 异地本行转账
  • 工资是一定是月薪吗
  • 国家统计局一套表平台网址
  • 无效发票不能报销怎么办
  • 索尼vaio笔记本看型号
  • 重置组策略命令
  • win11键盘全部没反应
  • 复制粘贴如何提取文字
  • 押金未退会计分录
  • 可作为税前扣除的项目有
  • 笔记本保养技巧和方法
  • 股东向公司借款合法吗
  • 网赚项目——Youtube获取高流量的技巧
  • 出口退税进项发票稽核
  • php自定义函数的语法格式
  • PHP:imagefilledellipse()的用法_GD库图像处理函数
  • 冬日里的科赫尔湖,德国巴伐利亚州 (© Reinhard Schmid/eStock Photo)
  • 原版锯齿
  • thinkphp exec
  • php反序列化漏洞原理
  • echars legend
  • php常用工具
  • watch监听不到props数据改变
  • 公章盖的字不完整有效吗
  • 制药企业客户退货流程
  • 印花税减半征收减免性质代码
  • 损益类科目明细账图片
  • 工程开票金额大于结算金额怎么处理
  • 收到退回的企业所得税,资产负债表如何填
  • 付款后发票的扩张怎么开
  • sqlserver调度
  • 商贸公司成本大吗
  • 可供出售金融资产属于什么科目
  • 注册公司时企业类型为什么没有自然人独资
  • 弥补亏损账务处理流程
  • 小规模以前年度城建税未计提
  • 所得税季度申报弥补以前年度亏损
  • 债务重组的会计例题
  • 收据为什么不能写今收到
  • 电子回单费用如何查询
  • mac80211源码分析
  • 复制system
  • 服务器中的ocp卡全称是什么
  • WIN10如何设置电脑自动锁屏
  • window 脚本
  • centos release6.7
  • window8设置在哪里
  • linux常用命令 cat
  • linux系统入侵检测软件有哪些
  • linux不小心删除目录怎么恢复
  • unity outline性能
  • unity3d documentation
  • layui nodejs
  • node.js连接不上数据库
  • python 源码解析
  • python爬虫模拟登录亚马逊
  • 地方税务网上申报怎么弄
  • 美国对中国商品征收关税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设