位置: IT常识 - 正文

猿创征文|深度学习基于ResNet18网络完成图像分类(猿创部落是干什么的)

编辑:rootadmin
猿创征文|深度学习基于ResNet18网络完成图像分类 一.前言

推荐整理分享猿创征文|深度学习基于ResNet18网络完成图像分类(猿创部落是干什么的),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:猿创部落科技有限公司,猿文教育科技有限公司怎么样,猿文教育科技有限公司怎么样,猿创设计科技有限公司,猿创教育,猿文教育科技有限公司怎么样,猿创教育,猿创设计科技有限公司,内容如对您有帮助,希望把文章链接给更多的朋友!

本次任务是利用ResNet18网络实践更通用的图像分类任务。

ResNet系列网络,图像分类领域的知名算法,经久不衰,历久弥新,直到今天依旧具有广泛的研究意义和应用场景。被业界各种改进,经常用于图像识别任务。

今天主要介绍一下ResNet-18网络结构的案例,其他深层次网络,可以依次类推。

ResNet-18,数字代表的是网络的深度,也就是说ResNet18 网络就是18层的吗?实则不然,其实这里的18指定的是带有权重的 18层,包括卷积层和全连接层,不包括池化层和BN层。

图像分类(Image Classification)是计算机视觉中的一个基础任务,将图像的语义将不同图像划分到不同类别。很多任务也可以转换为图像分类任务。比如人脸检测就是判断一个区域内是否有人脸,可以看作一个二分类的图像分类任务。

数据集:使用的计算机视觉领域的经典CIFAR-10数据集网络层:网络为ResNet18模型优化器:优化器为Adam优化器损失函数:损失函数为交叉熵损失评价指标:评价指标为准确率

 ResNet 网络简介:

 

二.数据预处理2.1 数据集介绍

CIFAR-10数据集包含了10种不同的类别、共60,000张图像,其中每个类别的图像都是6000张,图像大小均为32×3232×32像素。

2.2 数据读取

在本实验中,将原始训练集拆分成了train_set、dev_set两个部分,分别包括40 000条和10 000条样本。将data_batch_1到data_batch_4作为训练集,data_batch_5作为验证集,test_batch作为测试集。 最终的数据集构成为:

训练集:40 000条样本。验证集:10 000条样本。测试集:10 000条样本。

读取一个batch数据的代码如下所示:

import osimport pickleimport numpy as npdef load_cifar10_batch(folder_path, batch_id=1, mode='train'): if mode == 'test': file_path = os.path.join(folder_path, 'test_batch') else: file_path = os.path.join(folder_path, 'data_batch_'+str(batch_id)) #加载数据集文件 with open(file_path, 'rb') as batch_file: batch = pickle.load(batch_file, encoding = 'latin1') imgs = batch['data'].reshape((len(batch['data']),3,32,32)) / 255. labels = batch['labels'] return np.array(imgs, dtype='float32'), np.array(labels)imgs_batch, labels_batch = load_cifar10_batch(folder_path='datasets/cifar-10-batches-py', batch_id=1, mode='train')猿创征文|深度学习基于ResNet18网络完成图像分类(猿创部落是干什么的)

查看数据的维度:

#打印一下每个batch中X和y的维度print ("batch of imgs shape: ",imgs_batch.shape, "batch of labels shape: ", labels_batch.shape)

batch of imgs shape:  (10000, 3, 32, 32) batch of labels shape:  (10000,)

可视化观察其中的一张样本图像和对应的标签,代码如下所示:

%matplotlib inlineimport matplotlib.pyplot as pltimage, label = imgs_batch[1], labels_batch[1]print("The label in the picture is {}".format(label))plt.figure(figsize=(2, 2))plt.imshow(image.transpose(1,2,0))plt.savefig('cnn-car.pdf')

2.3 构造Dataset类

构造一个CIFAR10Dataset类,其将继承自paddle.io.DataSet类,可以逐个数据进行处理。代码实现如下:

import paddleimport paddle.io as iofrom paddle.vision.transforms import Normalizeclass CIFAR10Dataset(io.Dataset): def __init__(self, folder_path='/home/aistudio/cifar-10-batches-py', mode='train'): if mode == 'train': #加载batch1-batch4作为训练集 self.imgs, self.labels = load_cifar10_batch(folder_path=folder_path, batch_id=1, mode='train') for i in range(2, 5): imgs_batch, labels_batch = load_cifar10_batch(folder_path=folder_path, batch_id=i, mode='train') self.imgs, self.labels = np.concatenate([self.imgs, imgs_batch]), np.concatenate([self.labels, labels_batch]) elif mode == 'dev': #加载batch5作为验证集 self.imgs, self.labels = load_cifar10_batch(folder_path=folder_path, batch_id=5, mode='dev') elif mode == 'test': #加载测试集 self.imgs, self.labels = load_cifar10_batch(folder_path=folder_path, mode='test') self.transform = Normalize(mean=[0.4914, 0.4822, 0.4465], std=[0.2023, 0.1994, 0.2010], data_format='CHW') def __getitem__(self, idx): img, label = self.imgs[idx], self.labels[idx] img = self.transform(img) return img, label def __len__(self): return len(self.imgs)paddle.seed(100)train_dataset = CIFAR10Dataset(folder_path='datasets/cifar-10-batches-py', mode='train')dev_dataset = CIFAR10Dataset(folder_path='datasets/cifar-10-batches-py', mode='dev')test_dataset = CIFAR10Dataset(folder_path='datasets/cifar-10-batches-py', mode='test')三、模型构建

使用飞桨高层API中的Resnet18进行图像分类实验。

from paddle.vision.models import resnet18resnet18_model = resnet18()

飞桨高层 API是对飞桨API的进一步封装与升级,提供了更加简洁易用的API,进一步提升了飞桨的易学易用性。其中,飞桨高层API封装了以下模块:

Model类,支持仅用几行代码完成模型的训练;图像预处理模块,包含数十种数据处理函数,基本涵盖了常用的数据处理、数据增强方法;计算机视觉领域和自然语言处理领域的常用模型,包括但不限于mobilenet、resnet、yolov3、cyclegan、bert、transformer、seq2seq等等,同时发布了对应模型的预训练模型,可以直接使用这些模型或者在此基础上完成二次开发。四、模型训练

复用RunnerV3类,实例化RunnerV3类,并传入训练配置。 使用训练集和验证集进行模型训练,共训练30个epoch。 在实验中,保存准确率最高的模型作为最佳模型。代码实现如下:

import paddle.nn.functional as Fimport paddle.optimizer as optfrom nndl import RunnerV3, Accuracy#指定运行设备use_gpu = True if paddle.get_device().startswith("gpu") else Falseif use_gpu: paddle.set_device('gpu:0')#学习率大小lr = 0.001 #批次大小batch_size = 64 #加载数据train_loader = io.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)dev_loader = io.DataLoader(dev_dataset, batch_size=batch_size)test_loader = io.DataLoader(test_dataset, batch_size=batch_size) #定义网络model = resnet18_model#定义优化器,这里使用Adam优化器以及l2正则化策略,相关内容在7.3.3.2和7.6.2中会进行详细介绍optimizer = opt.Adam(learning_rate=lr, parameters=model.parameters(), weight_decay=0.005)#定义损失函数loss_fn = F.cross_entropy#定义评价指标metric = Accuracy(is_logist=True)#实例化RunnerV3runner = RunnerV3(model, optimizer, loss_fn, metric)#启动训练log_steps = 3000eval_steps = 3000runner.train(train_loader, dev_loader, num_epochs=30, log_steps=log_steps, eval_steps=eval_steps, save_path="best_model.pdparams")

可视化观察训练集与验证集的准确率及损失变化情况。

from nndl import plotplot(runner, fig_name='cnn-loss4.pdf')

在本实验中,使用了第7章中介绍的Adam优化器进行网络优化,如果使用SGD优化器,会造成过拟合的现象,在验证集上无法得到很好的收敛效果。可以尝试使用第7章中其他优化策略调整训练配置,达到更高的模型精度。

五、模型评价

使用测试数据对在训练过程中保存的最佳模型进行评价,观察模型在测试集上的准确率以及损失情况。代码实现如下:

# 加载最优模型runner.load_model('best_model.pdparams')# 模型评价score, loss = runner.evaluate(test_loader)print("[Test] accuracy/loss: {:.4f}/{:.4f}".format(score, loss))

[Test] accuracy/loss: 0.7234/0.8324

六、模型预测¶

同样地,也可以使用保存好的模型,对测试集中的数据进行模型预测,观察模型效果,具体代码实现如下:

#获取测试集中的一个batch的数据X, label = next(test_loader())logits = runner.predict(X)#多分类,使用softmax计算预测概率pred = F.softmax(logits)#获取概率最大的类别pred_class = paddle.argmax(pred[2]).numpy()label = label[2][0].numpy()#输出真实类别与预测类别print("The true category is {} and the predicted category is {}".format(label[0], pred_class[0]))#可视化图片plt.figure(figsize=(2, 2))imgs, labels = load_cifar10_batch(folder_path='/home/aistudio/datasets/cifar-10-batches-py', mode='test')plt.imshow(imgs[2].transpose(1,2,0))plt.savefig('cnn-test-vis.pdf')

The true category is 8 and the predicted category is 8

真实是8,预测是8。ship

本文链接地址:https://www.jiuchutong.com/zhishi/300313.html 转载请保留说明!

上一篇:备战数学建模45-粒子群算法优化BP神经网络(攻坚站10)(数学建模心态崩了)

下一篇:ChatGPT在编程中的应用(编程中char什么意思)

  • win10shift键和游戏有冲突

    win10shift键和游戏有冲突

  • qq好友达到上限怎么办(QQ好友达到上限怎么办)

    qq好友达到上限怎么办(QQ好友达到上限怎么办)

  • 淘宝个人主页在哪(淘宝个人主页在哪里)

    淘宝个人主页在哪(淘宝个人主页在哪里)

  • obs是什么(obs是什么意思)

    obs是什么(obs是什么意思)

  • 输入验证码为什么老是说错误(输入验证码为什么没有反应)

    输入验证码为什么老是说错误(输入验证码为什么没有反应)

  • 苹果通讯录突然没有了怎么回事(苹果通讯录突然没有了一部分)

    苹果通讯录突然没有了怎么回事(苹果通讯录突然没有了一部分)

  • pbet00是什么型号手机(型号pbat00)

    pbet00是什么型号手机(型号pbat00)

  • 网络层的内在功能包括(简述网络层的主要作用)

    网络层的内在功能包括(简述网络层的主要作用)

  • 收藏加购卖家能看到吗(收藏跟加购会给店铺长权重吗)

    收藏加购卖家能看到吗(收藏跟加购会给店铺长权重吗)

  • 闲鱼卖家有权利不退不换吗(闲鱼卖家有权利退款吗)

    闲鱼卖家有权利不退不换吗(闲鱼卖家有权利退款吗)

  • cpu电压多少正常范围(cpu电压多少正常台式机)

    cpu电压多少正常范围(cpu电压多少正常台式机)

  • 华为nova6为什么没有双击截屏(华为nova6为什么下架那么快)

    华为nova6为什么没有双击截屏(华为nova6为什么下架那么快)

  • 2017款ipad和air2区别(2017款ipad与air2)

    2017款ipad和air2区别(2017款ipad与air2)

  • 为什么华为手机晚上微信消息不提示(为什么华为手机屏幕变成黑白色)

    为什么华为手机晚上微信消息不提示(为什么华为手机屏幕变成黑白色)

  • 淘宝直播lv2怎么弄(淘宝直播秘诀)

    淘宝直播lv2怎么弄(淘宝直播秘诀)

  • 华为nova6大概什么时候发布(华为nova6用着怎么样)

    华为nova6大概什么时候发布(华为nova6用着怎么样)

  • iqoo怎么开启跑马灯(iqooz3跑马灯怎么设置)

    iqoo怎么开启跑马灯(iqooz3跑马灯怎么设置)

  • 淘宝怎么报活动(淘宝怎么报活动方案)

    淘宝怎么报活动(淘宝怎么报活动方案)

  • 小米4手环nfc和普通版区别(小米手环nfc和普通版大小一样吗)

    小米4手环nfc和普通版区别(小米手环nfc和普通版大小一样吗)

  • 苹果11是什么处理器(苹果11是什么处理器几核的)

    苹果11是什么处理器(苹果11是什么处理器几核的)

  • wegame连接服务器失败(wegame连不上网怎么办)

    wegame连接服务器失败(wegame连不上网怎么办)

  • 荣耀20pro屏多大(华为荣耀20pro屏幕多少寸)

    荣耀20pro屏多大(华为荣耀20pro屏幕多少寸)

  • 苹果的3dtouch是什么(iphone3dtouch有啥用)

    苹果的3dtouch是什么(iphone3dtouch有啥用)

  • 红包没收能看到金额吗(红包未收有记录吗)

    红包没收能看到金额吗(红包未收有记录吗)

  • BIOS识别不了硬盘怎么办(DIY解决GUID转MBR图解)(BIOS识别不了硬盘pe可以)

    BIOS识别不了硬盘怎么办(DIY解决GUID转MBR图解)(BIOS识别不了硬盘pe可以)

  • 人工智能学习——模糊控制(学人工智能哪家机构比较好)

    人工智能学习——模糊控制(学人工智能哪家机构比较好)

  • 房产税城镇土地使用税税率
  • 增值税进项发票当月未开,怎么办
  • 工会筹备金的计税依据是应发工资还是实发工资
  • 印花税应计入什么账户
  • 递延收益的核算
  • 车辆保险车船税怎么做会计分录
  • 免抵退税额为什么等于出口价乘以退税率
  • 企业怎么申请无运输工具承运资质
  • 地税纳税人编码是什么
  • 异地仓储概述
  • 个体户定额定税要做账吗
  • 手续费进项可以抵扣吗
  • 现金流量表的编制依据
  • 单位探望病人如何报销费用?
  • 注册中的商标转让
  • 建筑公司收到的劳务费怎么做账
  • Linux系统怎么设置常亮
  • 手机cpu性能排行榜2023最新天梯图
  • 设备安装需要预缴吗
  • PHP:spl_object_hash()的用法_spl函数
  • 前端文件预览
  • 长期借款资本成本高吗
  • 工会经费两种拨缴方式
  • 发票开具的法定义务是什么
  • 安装winsock
  • sovies
  • 简单谈谈php中的安全性
  • php similar_text()函数的定义和用法
  • 偿还应付账款会使得资产报酬率增加吗
  • 前端必学课程
  • 蓝桥杯大赛2021
  • vue开发环境配置
  • dir命令linux
  • 物流公司主营业务怎么写
  • 上个月的票这个月作废后报增值税需不需要交费?
  • dedecms怎么更换模板
  • div不规则排版
  • 专家劳务费能否抵扣个税
  • 不抵扣勾选的发票在哪里查看
  • sql2008收缩日志文件
  • 受托方开具加工费发票
  • 免税饲料做为免税吗
  • 广告业和一般服务性行业有何异同?
  • 损益类科目如何记忆
  • 减少实收资本会影响资产吗
  • 装修费摊销年限规定会计分录
  • 宣传费税前扣除什么意思
  • 材料自产自销的会计科目
  • 公司的固定资产怎么处理
  • 债券溢价摊销有什么影响
  • 用友作废的凭证怎么恢复
  • 出差开会总结怎么写
  • 会计估计变动怎么处理
  • 员工个人买的保险可以税前扣除吗
  • 购买药材的发票如何抵扣?
  • 投资性房地产是固定资产吗
  • win8 怎么样
  • win7共享在哪
  • ububtu安装教程
  • ie11forwindows10
  • ubuntu 18.04怎么用
  • mac电脑finder在哪里
  • centos开机grub
  • 微软刷机怎么刷
  • win10如何打开defender
  • ie11打不开闪退解决办法win 7
  • 如何判断肾虚阴虚阳虚
  • 黑客需要学哪些
  • cocos设置锚点
  • 预处理命令可以放在程序中的任何位置
  • 搭建入门
  • CloudEditText
  • 修改jquery版本号不生效
  • python 隐函数作图
  • 税控盘丢失怎么写情况说明
  • 水产品 免税
  • 发票勾选后必须抵扣吗
  • 国家税务总局郴州
  • 主题党日活动标题副标题格式
  • 公司处理固定资产汽车怎么交税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设