位置: IT常识 - 正文

Pytorch深度学习实战3-7:详解数据加载DataLoader与模型处理

编辑:rootadmin
原力计划Pytorch深度学习实战3-7:详解数据加载DataLoader与模型处理 目录1 数据集Dataset2 数据加载DataLoader3 常用预处理方法4 模型处理5 实例:MNIST数据集处理1 数据集Dataset

推荐整理分享Pytorch深度学习实战3-7:详解数据加载DataLoader与模型处理,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

Dataset类是Pytorch中图像数据集操作的核心类,Pytorch中所有数据集加载类都继承自Dataset父类。当我们自定义数据集处理时,必须实现Dataset类中的三个接口:

初始化

def __init__(self)

构造函数,定义一些数据集的公有属性,如数据集下载地址、名称等数据集大小

def __len__(self)

返回数据集大小,不同的数据集有不同的衡量数据量的方式数据集索引

def __getitem__(self, index):

支持数据集索引功能,以实现形如dataset[i]得到数据集中的第i + 1个数据的功能。__getitem__是后期迭代数据时执行的具体函数,其返回值决定了循环变量,例如

class data(Dataset)...def __getitem__(self, idx: int):if self.transforms:img = self.transforms(img)return img, label# 返回的值即为后续迭代的循环变量for images, labels in dataLoader:...2 数据加载DataLoader

为什么有了数据集Dataset还需要数据加载器DataLoader呢?原因在于神经网络需要进一步借助DataLoader对数据进行划分,也就是我们常说的batch,此外DataLoader还实现了打乱数据集、多线程等操作。

DataLoader本质是一个可迭代对象,可以使用形如

for inputs, labels in dataloaders

进行可迭代对象的访问。

我们一般不需要去实现DataLoader的接口,只需要在构造函数中指定相应的参数即可,比如常见的batch_size,shuffle等参数。

Pytorch深度学习实战3-7:详解数据加载DataLoader与模型处理

下面这张图非常好地说明了Dataset和DataLoader的关系

接下来总结数据构造的三步法

继承Dataset对象,并实现__len__()、__getitem__()魔法方法,该步骤的主要目的在于将文件形式的数据集处理为模型可用的标准数据格式,并加载到内存中;用DataLoader对象封装Dataset,使其成为可迭代对象;遍历DataLoader对象以将数据加载到模型中进行训练。3 常用预处理方法

在数据集Dataset的__getitem__()中利用torchvision.transforms进行数据预处理与变换

常见的数据预处理变换方法总结如下表

序号变换含义1RandomCrop(size, ...)对输入图像依据给定size随机裁剪2CenterCrop(size, ...)对输入图像依据给定size从中心裁剪3RandomResizedCrop(size, ...)对输入图像随机长宽比裁剪,再放缩到给定size4FiveCrop(size, ...)对输入图像进行上下左右及中心裁剪,返回五张图像(size)组成的四维张量5TenCrop(size, vertical_flip=False)对输入图像进行上下左右及中心裁剪,再全部翻转(水平或垂直),返回十张图像(size)组成的四维张量6RandomHorizontalFlip(p=0.5)对输入图像按概率p随机进行水平翻转7RandomVerticalFlip(p=0.5)对输入图像按概率p随机进行垂直翻转8RandomRotation(degree, ...)对输入图像在degree内随机旋转某角度9Resize(size, ...)对输入图像重置分辨率10Normalize(mean, std)对输入图像各通道进行标准化11ToTensor()将输入图像或ndarray 转换为tensor并归一化12Pad(padding, fill=0, padding_mode=‘constant’)对输入图像进行填充13ColorJitter(brightness=0, contrast=0, saturation=0, hue=0)对输入图像修改亮度、对比度、饱和度、色度等14Grayscale(num_output_channels=1)对输入图像转灰度15LinearTransformation(matrix)对输入图像进行线性变换16RandomAffine(...)对输入图像进行仿射变换17RandomGrayscale(p=0.1)对输入图像按概率p随机转灰度18ToPILImage(mode=None)对输入图像转PIL格式图像19RandomOrder()随机打乱transforms操作顺序4 模型处理

考虑以下场景:

网络的部分层级结构已经收敛、无需调整;大型复杂网络需要微调(Fine-tune)某些结构或参数;希望基于已训练好的模型进行改善或其他研究工作。

这些场景下重新通过数据集训练整个神经网络并无必要,甚至会使模型不稳定,因此引入预训练(pretrained)。Pytorch允许用户保存已训练好的模型,或加载其他模型,避免往复的无谓重训练,其中模型参数文件以.pth为后缀

# 保存已训练模型torch.save(model.state_dict(), path)# 加载预训练模型model.load_state_dict(torch.load(path), device)

通过设置模型某些层可学习参数的requires_grad属性为False即可固定这部分参数不被后续学习过程影响。深度学习框架应用优势之一在于预设了对GPU的支持,大大提高模型处理与训练的效率。Pytorch中通过mode.to(device)方法将模型部署到指定设备上(CPU/GPU),范式如下:

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")model.to(device)

工程上也常使用torch.nn.DataParallel(model, devices)来处理多GPU并行运算,其原理是:首先将模型加载到主GPU上,再将模型从主GPU产生若干副本到其余GPU,随后将一个batch中的数据按维度划分为不同的子任务给各GPU进行前向传播,得到的损失会被累积到主GPU上并由主GPU反向传播更新参数,最后将更新参数拷贝到其余GPU以开始下一轮训练。

5 实例:MNIST数据集处理

下面给出了处理MNIST手写数据集的完整代码,可以用于加深对数据处理流程的理解

from abc import abstractmethodimport numpy as npfrom torchvision.datasets import mnistfrom torch.utils.data import Datasetfrom PIL import Imageclass mnistData(Dataset): ''' * @breif: MNIST数据集抽象接口 * @param[in]: dataPath -> 数据集存放路径 * @param[in]: transforms -> 数据集变换 ''' def __init__(self, dataPath: str, transforms=None) -> None: super().__init__() self.dataPath = dataPath self.transforms = transforms self.data, self.label = [], [] def __len__(self) -> int: return len(self.label) def __getitem__(self, idx: int): img = self.data[idx] if self.transforms: img = self.transforms(img) return img, self.label[idx] @abstractmethod def plot(self, index: int) -> None: pass @abstractmethod def load(self) -> list: pass def plotData(self, index: int, info: str=None) -> None: ''' * @breif: 可视化训练数据 * @param[in]: index -> 数据集索引 * @param[in]: info -> 备注信息 * @retval: None ''' print(info, " --index:", index, "--label:", self.label[index]) if info else \ print(" --index:", index, "--label:", self.label[index]) img = Image.fromarray(np.uint8(self.data[index])) img.show() def loadData(self, train: bool) -> list: ''' * @breif: 下载与加载数据集 * @param[in]: train -> 是否为训练集 * @retval: 数据与标签列表 ''' # 如果指定目录下不存在数据集则下载 dataSet = mnist.MNIST(self.dataPath, train=train, download=True) # 初始化数据与标签 data = [ i[0] for i in dataSet ] label = [ i[1] for i in dataSet ] return data, labelclass mnistTrainData(mnistData): ''' * @breif: MNIST训练集 * @param[in]: dataPath -> 数据集存放路径 * @param[in]: transforms -> 数据集变换 ''' def __init__(self, dataPath: str, transforms=None) -> None: super().__init__(dataPath, transforms=transforms) self.data, self.label = self.load() def plot(self, index: int) -> None: self.plotData(index, "trainSet data") def load(self) -> list: return self.loadData(train=True)class mnistTestData(mnistData): ''' * @breif: MNIST测试集 * @param[in]: dataPath -> 数据集存放路径 * @param[in]: transforms -> 数据集变换 ''' def __init__(self, dataPath: str, transforms=None) -> None: super().__init__(dataPath, transforms=transforms) self.data, self.label = self.load() def plot(self, index: int) -> None: self.plotData(index, "testSet data") def load(self) -> list: return self.loadData(train=False)

本文链接地址:https://www.jiuchutong.com/zhishi/300789.html 转载请保留说明!

上一篇:React中使用Redux (二) - 通过react-redux库连接React和Redux(react redux reducer)

下一篇:多模态特征融合:图像、语音、文本如何转为特征向量并进行分类(多模态特征融合pytorch)

  • 佳能打印机墨盒在哪里(佳能打印机墨盒怎么安装)

    佳能打印机墨盒在哪里(佳能打印机墨盒怎么安装)

  • 大疆无人机怎么关机(大疆无人机怎么样)

    大疆无人机怎么关机(大疆无人机怎么样)

  • 华为畅享9有指纹解锁吗(华为畅享9有指南针吗)

    华为畅享9有指纹解锁吗(华为畅享9有指南针吗)

  • 抖音注销账号要几天(抖音注销账号要多久才能注销)

    抖音注销账号要几天(抖音注销账号要多久才能注销)

  • 手机ld怎么查(手机id怎么查看)

    手机ld怎么查(手机id怎么查看)

  • word添加编号怎么设置(word里面添加编号怎么设置)

    word添加编号怎么设置(word里面添加编号怎么设置)

  • 有指纹和无指纹区别(有指纹和无指纹是什么意思)

    有指纹和无指纹区别(有指纹和无指纹是什么意思)

  • 关闭睿频对游戏影响吗?(关闭睿频对游戏有影响吗)

    关闭睿频对游戏影响吗?(关闭睿频对游戏有影响吗)

  • 新多闪有什么功能(多闪有啥用)

    新多闪有什么功能(多闪有啥用)

  • nova7带红外线吗(nove7带红外线吗)

    nova7带红外线吗(nove7带红外线吗)

  • 手机摔地上后老是自动关机(手机摔地上后老响)

    手机摔地上后老是自动关机(手机摔地上后老响)

  • 苹果11三个版本区别(苹果11三个版本是什么)

    苹果11三个版本区别(苹果11三个版本是什么)

  • 苹果4怎么更新到ios8(苹果4怎么更新到ios10)

    苹果4怎么更新到ios8(苹果4怎么更新到ios10)

  • 互联网和万维网区别是什么(互联网和万维网之间的关系)

    互联网和万维网区别是什么(互联网和万维网之间的关系)

  • 计算机多媒体技术是指(计算机多媒体技术属于什么类)

    计算机多媒体技术是指(计算机多媒体技术属于什么类)

  • 抖音可以只给指定的人看吗(抖音只给指定的人看人家知道吗)

    抖音可以只给指定的人看吗(抖音只给指定的人看人家知道吗)

  • 怎么查手机有没有碎屏险(怎么查手机有没有被植入木马)

    怎么查手机有没有碎屏险(怎么查手机有没有被植入木马)

  • 苹果x手机背壳什么材质(iphone x手机后壳多少钱)

    苹果x手机背壳什么材质(iphone x手机后壳多少钱)

  • 手机淘宝几颗心在哪看(手机淘宝几颗心等于钻)

    手机淘宝几颗心在哪看(手机淘宝几颗心等于钻)

  • 考虫网课过期了怎么看(考虫网课过期了还能看吗)

    考虫网课过期了怎么看(考虫网课过期了还能看吗)

  • 怎样改变网页亮度(网页怎么调)

    怎样改变网页亮度(网页怎么调)

  • 换手机登微信能看到之前的信息吗(换手机登微信能看到最后一条)

    换手机登微信能看到之前的信息吗(换手机登微信能看到最后一条)

  • 微信收付款怎么设手势密码(微信收付款怎么添加到桌面)

    微信收付款怎么设手势密码(微信收付款怎么添加到桌面)

  • 美团为什么不能用花呗(美团为什么不能到店自取)

    美团为什么不能用花呗(美团为什么不能到店自取)

  • ios怎么添加信任(iphone怎么添加信任)

    ios怎么添加信任(iphone怎么添加信任)

  • Windows7系统如何查看硬件的基本配置(win7系统怎样)

    Windows7系统如何查看硬件的基本配置(win7系统怎样)

  • 长期股权投资其他综合收益什么时候转留存收益
  • 承兑汇票大回头票是什么意思
  • 增值税交错了退税怎么退
  • 政府单位临聘人员辞退
  • 政府返还的增值税怎么算
  • 增值税发票污染了能补开吗
  • 报表中利润为什么税后比税前大?
  • 年终奖个税筹划临界点
  • 软件企业两免三减半税收政策到期
  • 增值税税负的概念和如何确定税负
  • 小微企业所得税税率多少
  • 收到分红款企业所得税怎么填报
  • 公户转账备注写错会查吗
  • 可以开运费发票的单位有哪些
  • 开票系统的收款码怎么弄
  • 五月份开的发票但是七月冲红了七月增值税怎么报
  • 应收票据盘点表是出纳填吗
  • 先收到发票后到货分录
  • 英雄联盟登录失败7502013
  • 软件维护费清单
  • 无法找到脚本文件vbs
  • windows11怎么回退
  • 弥补亏损企业类型都是一般企业吗
  • 在win10中显示我的电脑
  • 税务局怎么核定征收股权转让的
  • php面向对象优点,缺点
  • 向境外股东分配利润代扣代缴企业所得税
  • 保险多扣一个月
  • 公允价值变动损益借贷方向
  • 计提企业所得税会计分录怎么做
  • php如何自定义函数
  • php 文件上传类型限制
  • 自行建造厂房如何缴税
  • 职工教育经费可以有余额吗?
  • 学生个人网页制作html5
  • yaf框架优缺点
  • vue3+ts+vite
  • vue3 hooks实现
  • vue pending
  • opencv的函数
  • 与http缓存有关的header
  • 收到境外服务费可以退税吗
  • python中删除字典里的空项目
  • mongodb导入数据三种方式
  • 待报解预算收入怎么做账
  • 没有购销合同的原因有哪些
  • 废旧物资专用发票
  • 集团与子公司资产的区别
  • 公司网站设计怎么做
  • 增值税零税率与免税谁更优惠
  • 非流动资产处置损失计入什么科目
  • 转让负债 增值税
  • 一般纳税人证明在哪里开具
  • 取得无形资产时增值税进项税额的处理
  • 企业票据贴现属于什么业务
  • mysql5.7.21安装
  • win7蓝屏咋办
  • ubuntu启动菜单 哪个键
  • ubuntu help
  • debian怎么开启端口
  • csinsm32.exe是安全的进程吗 csinsm32进程有哪些用处
  • win7中文显示问号
  • ScanMailOutLook.exe - ScanMailOutLook是什么进程 有什么用
  • 电脑w7系统怎么保存图片
  • 3dmconfig.ini有什么用
  • sparsomycin
  • 谈一谈js消息机制的理解
  • 详解九章算法
  • 下载器广告
  • linux shell 循环语句
  • jquery获取自定义标签的值
  • adb push、adb install 和强制安装
  • python的opencv
  • android中的webview
  • 小型微利企业所得税优惠
  • 员工离职了个人所得税年度汇算应申报未申报怎么处理
  • 税法查询系统
  • 增值税税负标准是什么
  • 全国税收总收入完成59260.61
  • 年度申报个人所得税专项扣除多填了怎么办
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设