位置: IT常识 - 正文

Pytorch深度学习实战3-7:详解数据加载DataLoader与模型处理

编辑:rootadmin
原力计划Pytorch深度学习实战3-7:详解数据加载DataLoader与模型处理 目录1 数据集Dataset2 数据加载DataLoader3 常用预处理方法4 模型处理5 实例:MNIST数据集处理1 数据集Dataset

推荐整理分享Pytorch深度学习实战3-7:详解数据加载DataLoader与模型处理,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

Dataset类是Pytorch中图像数据集操作的核心类,Pytorch中所有数据集加载类都继承自Dataset父类。当我们自定义数据集处理时,必须实现Dataset类中的三个接口:

初始化

def __init__(self)

构造函数,定义一些数据集的公有属性,如数据集下载地址、名称等数据集大小

def __len__(self)

返回数据集大小,不同的数据集有不同的衡量数据量的方式数据集索引

def __getitem__(self, index):

支持数据集索引功能,以实现形如dataset[i]得到数据集中的第i + 1个数据的功能。__getitem__是后期迭代数据时执行的具体函数,其返回值决定了循环变量,例如

class data(Dataset)...def __getitem__(self, idx: int):if self.transforms:img = self.transforms(img)return img, label# 返回的值即为后续迭代的循环变量for images, labels in dataLoader:...2 数据加载DataLoader

为什么有了数据集Dataset还需要数据加载器DataLoader呢?原因在于神经网络需要进一步借助DataLoader对数据进行划分,也就是我们常说的batch,此外DataLoader还实现了打乱数据集、多线程等操作。

DataLoader本质是一个可迭代对象,可以使用形如

for inputs, labels in dataloaders

进行可迭代对象的访问。

我们一般不需要去实现DataLoader的接口,只需要在构造函数中指定相应的参数即可,比如常见的batch_size,shuffle等参数。

Pytorch深度学习实战3-7:详解数据加载DataLoader与模型处理

下面这张图非常好地说明了Dataset和DataLoader的关系

接下来总结数据构造的三步法

继承Dataset对象,并实现__len__()、__getitem__()魔法方法,该步骤的主要目的在于将文件形式的数据集处理为模型可用的标准数据格式,并加载到内存中;用DataLoader对象封装Dataset,使其成为可迭代对象;遍历DataLoader对象以将数据加载到模型中进行训练。3 常用预处理方法

在数据集Dataset的__getitem__()中利用torchvision.transforms进行数据预处理与变换

常见的数据预处理变换方法总结如下表

序号变换含义1RandomCrop(size, ...)对输入图像依据给定size随机裁剪2CenterCrop(size, ...)对输入图像依据给定size从中心裁剪3RandomResizedCrop(size, ...)对输入图像随机长宽比裁剪,再放缩到给定size4FiveCrop(size, ...)对输入图像进行上下左右及中心裁剪,返回五张图像(size)组成的四维张量5TenCrop(size, vertical_flip=False)对输入图像进行上下左右及中心裁剪,再全部翻转(水平或垂直),返回十张图像(size)组成的四维张量6RandomHorizontalFlip(p=0.5)对输入图像按概率p随机进行水平翻转7RandomVerticalFlip(p=0.5)对输入图像按概率p随机进行垂直翻转8RandomRotation(degree, ...)对输入图像在degree内随机旋转某角度9Resize(size, ...)对输入图像重置分辨率10Normalize(mean, std)对输入图像各通道进行标准化11ToTensor()将输入图像或ndarray 转换为tensor并归一化12Pad(padding, fill=0, padding_mode=‘constant’)对输入图像进行填充13ColorJitter(brightness=0, contrast=0, saturation=0, hue=0)对输入图像修改亮度、对比度、饱和度、色度等14Grayscale(num_output_channels=1)对输入图像转灰度15LinearTransformation(matrix)对输入图像进行线性变换16RandomAffine(...)对输入图像进行仿射变换17RandomGrayscale(p=0.1)对输入图像按概率p随机转灰度18ToPILImage(mode=None)对输入图像转PIL格式图像19RandomOrder()随机打乱transforms操作顺序4 模型处理

考虑以下场景:

网络的部分层级结构已经收敛、无需调整;大型复杂网络需要微调(Fine-tune)某些结构或参数;希望基于已训练好的模型进行改善或其他研究工作。

这些场景下重新通过数据集训练整个神经网络并无必要,甚至会使模型不稳定,因此引入预训练(pretrained)。Pytorch允许用户保存已训练好的模型,或加载其他模型,避免往复的无谓重训练,其中模型参数文件以.pth为后缀

# 保存已训练模型torch.save(model.state_dict(), path)# 加载预训练模型model.load_state_dict(torch.load(path), device)

通过设置模型某些层可学习参数的requires_grad属性为False即可固定这部分参数不被后续学习过程影响。深度学习框架应用优势之一在于预设了对GPU的支持,大大提高模型处理与训练的效率。Pytorch中通过mode.to(device)方法将模型部署到指定设备上(CPU/GPU),范式如下:

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")model.to(device)

工程上也常使用torch.nn.DataParallel(model, devices)来处理多GPU并行运算,其原理是:首先将模型加载到主GPU上,再将模型从主GPU产生若干副本到其余GPU,随后将一个batch中的数据按维度划分为不同的子任务给各GPU进行前向传播,得到的损失会被累积到主GPU上并由主GPU反向传播更新参数,最后将更新参数拷贝到其余GPU以开始下一轮训练。

5 实例:MNIST数据集处理

下面给出了处理MNIST手写数据集的完整代码,可以用于加深对数据处理流程的理解

from abc import abstractmethodimport numpy as npfrom torchvision.datasets import mnistfrom torch.utils.data import Datasetfrom PIL import Imageclass mnistData(Dataset): ''' * @breif: MNIST数据集抽象接口 * @param[in]: dataPath -> 数据集存放路径 * @param[in]: transforms -> 数据集变换 ''' def __init__(self, dataPath: str, transforms=None) -> None: super().__init__() self.dataPath = dataPath self.transforms = transforms self.data, self.label = [], [] def __len__(self) -> int: return len(self.label) def __getitem__(self, idx: int): img = self.data[idx] if self.transforms: img = self.transforms(img) return img, self.label[idx] @abstractmethod def plot(self, index: int) -> None: pass @abstractmethod def load(self) -> list: pass def plotData(self, index: int, info: str=None) -> None: ''' * @breif: 可视化训练数据 * @param[in]: index -> 数据集索引 * @param[in]: info -> 备注信息 * @retval: None ''' print(info, " --index:", index, "--label:", self.label[index]) if info else \ print(" --index:", index, "--label:", self.label[index]) img = Image.fromarray(np.uint8(self.data[index])) img.show() def loadData(self, train: bool) -> list: ''' * @breif: 下载与加载数据集 * @param[in]: train -> 是否为训练集 * @retval: 数据与标签列表 ''' # 如果指定目录下不存在数据集则下载 dataSet = mnist.MNIST(self.dataPath, train=train, download=True) # 初始化数据与标签 data = [ i[0] for i in dataSet ] label = [ i[1] for i in dataSet ] return data, labelclass mnistTrainData(mnistData): ''' * @breif: MNIST训练集 * @param[in]: dataPath -> 数据集存放路径 * @param[in]: transforms -> 数据集变换 ''' def __init__(self, dataPath: str, transforms=None) -> None: super().__init__(dataPath, transforms=transforms) self.data, self.label = self.load() def plot(self, index: int) -> None: self.plotData(index, "trainSet data") def load(self) -> list: return self.loadData(train=True)class mnistTestData(mnistData): ''' * @breif: MNIST测试集 * @param[in]: dataPath -> 数据集存放路径 * @param[in]: transforms -> 数据集变换 ''' def __init__(self, dataPath: str, transforms=None) -> None: super().__init__(dataPath, transforms=transforms) self.data, self.label = self.load() def plot(self, index: int) -> None: self.plotData(index, "testSet data") def load(self) -> list: return self.loadData(train=False)

本文链接地址:https://www.jiuchutong.com/zhishi/300789.html 转载请保留说明!

上一篇:React中使用Redux (二) - 通过react-redux库连接React和Redux(react redux reducer)

下一篇:多模态特征融合:图像、语音、文本如何转为特征向量并进行分类(多模态特征融合pytorch)

  • 税金及附加是负债类吗
  • 个人所得税如何计算
  • 工商年报资产状况可以都填0吗
  • 事业单位资产负责比往年增加表明什么
  • 季度残保金如何申报
  • 民办非企业免税额度
  • 税务报表的利润表
  • 法人独资企业怎么样
  • 小规模30万免税是含税还是不含税
  • 生产研发设备
  • 一般纳税人快递费税率
  • 金税盘地区编号淄博
  • 计提缴纳印花税怎么做账
  • 结转损益类费用科目的余额
  • 车辆买的商业险有家庭包
  • 建筑业出售废旧电脑取的收入如何申报
  • 企业电话费计入什么科目
  • 生产企业成本核算流程及案例
  • 税目与应纳税额的关系
  • 民事责任行政责任刑事责任的区别
  • 发票跨月还能重开吗
  • 企业所得税弥补亏损明细表怎么填写
  • 公司企业变更后原来的营业执照还有吗
  • 增值税专用发票有效期是多长时间
  • 活动策划费属于哪一类
  • 股票回购会计处理
  • 承兑汇票背书用什么方法?
  • 贷款利息可以抵扣吗
  • Win10中macos big sur虚拟机无法连接网络怎么办?
  • 赠与合同要公证吗有效吗
  • 金税盘减免税款申报的时候怎么填写
  • rsync inotify sersync
  • 存货的核算方法
  • 企业支付银行的贷款利息可以税前扣除吗为什么
  • php throw
  • 了解的反义词
  • 商业银行流动性风险监管指标
  • php采集源码
  • vue实例完整项目源码
  • deformable detr代码
  • dmesg | grep tty
  • ips attack
  • emacs scheme
  • java枚举写法
  • mysql索引是否生效
  • 房地产公司计提税金
  • 总承包可以转包吗
  • 计算企业所得税分录
  • 税前利润弥补是什么意思
  • 营业收入净额是利润表的哪个数
  • 车辆购置税 购置
  • 小规模纳税人附加税怎么算
  • 以前年度损益调整结转到哪里
  • 给供应商支付货款的付款申请由谁提出
  • 核定征收的一般纳税人进项税额抵扣
  • 计提印花税会计科目
  • 公司缴纳印花税如何缴纳
  • 怎么查企业适用的会计准则
  • 如何解绑企业微信绑定的邮箱
  • 税控盘超过15号还可以抄报吗
  • 分公司需要独立核算和报税吗
  • mysqld关闭
  • windows性能监视器横坐标
  • win打开本地策略
  • cmos是一种什么芯片
  • vnc for linux
  • WNxp下让所有用户桌面显示系统默认图标的方法
  • win7安全模式
  • win7桌面怎么设置到d盘
  • js页面点击怎么随机生成图片
  • python selenium原理
  • css调查问卷
  • js实现的简洁二次函数
  • unity相关问题
  • jquery中的动画方法有哪些
  • 怎么关闭android
  • python语言及应用
  • 美国各地区消费水平
  • 广汽传祺gs52013款2.0自动怎么样
  • ca证书怎么删除
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设