位置: IT常识 - 正文

猿创征文|深度学习基于ResNet18网络完成图像分类(猿创部落是干什么的)

编辑:rootadmin
猿创征文|深度学习基于ResNet18网络完成图像分类 一.前言

推荐整理分享猿创征文|深度学习基于ResNet18网络完成图像分类(猿创部落是干什么的),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:猿创部落科技有限公司,猿文教育科技有限公司怎么样,猿文教育科技有限公司怎么样,猿创设计科技有限公司,猿创教育,猿文教育科技有限公司怎么样,猿创教育,猿创设计科技有限公司,内容如对您有帮助,希望把文章链接给更多的朋友!

本次任务是利用ResNet18网络实践更通用的图像分类任务。

ResNet系列网络,图像分类领域的知名算法,经久不衰,历久弥新,直到今天依旧具有广泛的研究意义和应用场景。被业界各种改进,经常用于图像识别任务。

今天主要介绍一下ResNet-18网络结构的案例,其他深层次网络,可以依次类推。

ResNet-18,数字代表的是网络的深度,也就是说ResNet18 网络就是18层的吗?实则不然,其实这里的18指定的是带有权重的 18层,包括卷积层和全连接层,不包括池化层和BN层。

图像分类(Image Classification)是计算机视觉中的一个基础任务,将图像的语义将不同图像划分到不同类别。很多任务也可以转换为图像分类任务。比如人脸检测就是判断一个区域内是否有人脸,可以看作一个二分类的图像分类任务。

数据集:使用的计算机视觉领域的经典CIFAR-10数据集网络层:网络为ResNet18模型优化器:优化器为Adam优化器损失函数:损失函数为交叉熵损失评价指标:评价指标为准确率

 ResNet 网络简介:

 

二.数据预处理2.1 数据集介绍

CIFAR-10数据集包含了10种不同的类别、共60,000张图像,其中每个类别的图像都是6000张,图像大小均为32×3232×32像素。

2.2 数据读取

在本实验中,将原始训练集拆分成了train_set、dev_set两个部分,分别包括40 000条和10 000条样本。将data_batch_1到data_batch_4作为训练集,data_batch_5作为验证集,test_batch作为测试集。 最终的数据集构成为:

训练集:40 000条样本。验证集:10 000条样本。测试集:10 000条样本。

读取一个batch数据的代码如下所示:

import osimport pickleimport numpy as npdef load_cifar10_batch(folder_path, batch_id=1, mode='train'): if mode == 'test': file_path = os.path.join(folder_path, 'test_batch') else: file_path = os.path.join(folder_path, 'data_batch_'+str(batch_id)) #加载数据集文件 with open(file_path, 'rb') as batch_file: batch = pickle.load(batch_file, encoding = 'latin1') imgs = batch['data'].reshape((len(batch['data']),3,32,32)) / 255. labels = batch['labels'] return np.array(imgs, dtype='float32'), np.array(labels)imgs_batch, labels_batch = load_cifar10_batch(folder_path='datasets/cifar-10-batches-py', batch_id=1, mode='train')猿创征文|深度学习基于ResNet18网络完成图像分类(猿创部落是干什么的)

查看数据的维度:

#打印一下每个batch中X和y的维度print ("batch of imgs shape: ",imgs_batch.shape, "batch of labels shape: ", labels_batch.shape)

batch of imgs shape:  (10000, 3, 32, 32) batch of labels shape:  (10000,)

可视化观察其中的一张样本图像和对应的标签,代码如下所示:

%matplotlib inlineimport matplotlib.pyplot as pltimage, label = imgs_batch[1], labels_batch[1]print("The label in the picture is {}".format(label))plt.figure(figsize=(2, 2))plt.imshow(image.transpose(1,2,0))plt.savefig('cnn-car.pdf')

2.3 构造Dataset类

构造一个CIFAR10Dataset类,其将继承自paddle.io.DataSet类,可以逐个数据进行处理。代码实现如下:

import paddleimport paddle.io as iofrom paddle.vision.transforms import Normalizeclass CIFAR10Dataset(io.Dataset): def __init__(self, folder_path='/home/aistudio/cifar-10-batches-py', mode='train'): if mode == 'train': #加载batch1-batch4作为训练集 self.imgs, self.labels = load_cifar10_batch(folder_path=folder_path, batch_id=1, mode='train') for i in range(2, 5): imgs_batch, labels_batch = load_cifar10_batch(folder_path=folder_path, batch_id=i, mode='train') self.imgs, self.labels = np.concatenate([self.imgs, imgs_batch]), np.concatenate([self.labels, labels_batch]) elif mode == 'dev': #加载batch5作为验证集 self.imgs, self.labels = load_cifar10_batch(folder_path=folder_path, batch_id=5, mode='dev') elif mode == 'test': #加载测试集 self.imgs, self.labels = load_cifar10_batch(folder_path=folder_path, mode='test') self.transform = Normalize(mean=[0.4914, 0.4822, 0.4465], std=[0.2023, 0.1994, 0.2010], data_format='CHW') def __getitem__(self, idx): img, label = self.imgs[idx], self.labels[idx] img = self.transform(img) return img, label def __len__(self): return len(self.imgs)paddle.seed(100)train_dataset = CIFAR10Dataset(folder_path='datasets/cifar-10-batches-py', mode='train')dev_dataset = CIFAR10Dataset(folder_path='datasets/cifar-10-batches-py', mode='dev')test_dataset = CIFAR10Dataset(folder_path='datasets/cifar-10-batches-py', mode='test')三、模型构建

使用飞桨高层API中的Resnet18进行图像分类实验。

from paddle.vision.models import resnet18resnet18_model = resnet18()

飞桨高层 API是对飞桨API的进一步封装与升级,提供了更加简洁易用的API,进一步提升了飞桨的易学易用性。其中,飞桨高层API封装了以下模块:

Model类,支持仅用几行代码完成模型的训练;图像预处理模块,包含数十种数据处理函数,基本涵盖了常用的数据处理、数据增强方法;计算机视觉领域和自然语言处理领域的常用模型,包括但不限于mobilenet、resnet、yolov3、cyclegan、bert、transformer、seq2seq等等,同时发布了对应模型的预训练模型,可以直接使用这些模型或者在此基础上完成二次开发。四、模型训练

复用RunnerV3类,实例化RunnerV3类,并传入训练配置。 使用训练集和验证集进行模型训练,共训练30个epoch。 在实验中,保存准确率最高的模型作为最佳模型。代码实现如下:

import paddle.nn.functional as Fimport paddle.optimizer as optfrom nndl import RunnerV3, Accuracy#指定运行设备use_gpu = True if paddle.get_device().startswith("gpu") else Falseif use_gpu: paddle.set_device('gpu:0')#学习率大小lr = 0.001 #批次大小batch_size = 64 #加载数据train_loader = io.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)dev_loader = io.DataLoader(dev_dataset, batch_size=batch_size)test_loader = io.DataLoader(test_dataset, batch_size=batch_size) #定义网络model = resnet18_model#定义优化器,这里使用Adam优化器以及l2正则化策略,相关内容在7.3.3.2和7.6.2中会进行详细介绍optimizer = opt.Adam(learning_rate=lr, parameters=model.parameters(), weight_decay=0.005)#定义损失函数loss_fn = F.cross_entropy#定义评价指标metric = Accuracy(is_logist=True)#实例化RunnerV3runner = RunnerV3(model, optimizer, loss_fn, metric)#启动训练log_steps = 3000eval_steps = 3000runner.train(train_loader, dev_loader, num_epochs=30, log_steps=log_steps, eval_steps=eval_steps, save_path="best_model.pdparams")

可视化观察训练集与验证集的准确率及损失变化情况。

from nndl import plotplot(runner, fig_name='cnn-loss4.pdf')

在本实验中,使用了第7章中介绍的Adam优化器进行网络优化,如果使用SGD优化器,会造成过拟合的现象,在验证集上无法得到很好的收敛效果。可以尝试使用第7章中其他优化策略调整训练配置,达到更高的模型精度。

五、模型评价

使用测试数据对在训练过程中保存的最佳模型进行评价,观察模型在测试集上的准确率以及损失情况。代码实现如下:

# 加载最优模型runner.load_model('best_model.pdparams')# 模型评价score, loss = runner.evaluate(test_loader)print("[Test] accuracy/loss: {:.4f}/{:.4f}".format(score, loss))

[Test] accuracy/loss: 0.7234/0.8324

六、模型预测¶

同样地,也可以使用保存好的模型,对测试集中的数据进行模型预测,观察模型效果,具体代码实现如下:

#获取测试集中的一个batch的数据X, label = next(test_loader())logits = runner.predict(X)#多分类,使用softmax计算预测概率pred = F.softmax(logits)#获取概率最大的类别pred_class = paddle.argmax(pred[2]).numpy()label = label[2][0].numpy()#输出真实类别与预测类别print("The true category is {} and the predicted category is {}".format(label[0], pred_class[0]))#可视化图片plt.figure(figsize=(2, 2))imgs, labels = load_cifar10_batch(folder_path='/home/aistudio/datasets/cifar-10-batches-py', mode='test')plt.imshow(imgs[2].transpose(1,2,0))plt.savefig('cnn-test-vis.pdf')

The true category is 8 and the predicted category is 8

真实是8,预测是8。ship

本文链接地址:https://www.jiuchutong.com/zhishi/300313.html 转载请保留说明!

上一篇:备战数学建模45-粒子群算法优化BP神经网络(攻坚站10)(数学建模心态崩了)

下一篇:ChatGPT在编程中的应用(编程中char什么意思)

  • 书旗小说怎么设置翻页(书旗小说怎么设置背景颜色)

    书旗小说怎么设置翻页(书旗小说怎么设置背景颜色)

  • 电脑时间怎么自动更新(电脑时间怎么自动校准)

    电脑时间怎么自动更新(电脑时间怎么自动校准)

  • 抖音群怎么建(抖音群怎么建500人)

    抖音群怎么建(抖音群怎么建500人)

  • oppofindx2pro有光学防抖功能吗(oppofindx2pro有光学防抖吗)

    oppofindx2pro有光学防抖功能吗(oppofindx2pro有光学防抖吗)

  • 抖音播放量多点赞少该怎么办(抖音播放量多点赞少为什么)

    抖音播放量多点赞少该怎么办(抖音播放量多点赞少为什么)

  • 抖音怎样解除火山绑定(抖音怎样解除火山版同步)

    抖音怎样解除火山绑定(抖音怎样解除火山版同步)

  • 华为手机一直显示耳机模式怎么回事(华为手机一直显示红色闪电开不了机)

    华为手机一直显示耳机模式怎么回事(华为手机一直显示红色闪电开不了机)

  • opporeno4什么时候发布(opporeno4什么时候发布新机)

    opporeno4什么时候发布(opporeno4什么时候发布新机)

  • 微信扫脸登录在哪里设置(微信扫脸登录在哪里打开)

    微信扫脸登录在哪里设置(微信扫脸登录在哪里打开)

  • 抖音怎样设置不让别人看到自己是否在线(抖音怎样设置不让别人看到评论)

    抖音怎样设置不让别人看到自己是否在线(抖音怎样设置不让别人看到评论)

  • oppoa8有红外线功能吗(oppoa 8有没有红外线功能)

    oppoa8有红外线功能吗(oppoa 8有没有红外线功能)

  • 华为手机为什么显HD(华为手机为什么自动重启怎么回事)

    华为手机为什么显HD(华为手机为什么自动重启怎么回事)

  • 计算器sin30怎么按(计算器上的sin30度怎么用)

    计算器sin30怎么按(计算器上的sin30度怎么用)

  • 平板自动跳屏怎么回事(平板屏幕自动跳转)

    平板自动跳屏怎么回事(平板屏幕自动跳转)

  • 蓝牙耳机摔开了合不上(蓝牙耳机摔开了装回去了但是却不吻合)

    蓝牙耳机摔开了合不上(蓝牙耳机摔开了装回去了但是却不吻合)

  • vivoy71a手机卡了怎么办(vivo手机卡住了咋办)

    vivoy71a手机卡了怎么办(vivo手机卡住了咋办)

  • 微视提现了为什么没有到账(微视提现后就没红包了)

    微视提现了为什么没有到账(微视提现后就没红包了)

  • c语句的结束符是什么(c语言语句的结束符是)

    c语句的结束符是什么(c语言语句的结束符是)

  • 米8lite是哪款(米8lite和米8区别)

    米8lite是哪款(米8lite和米8区别)

  • mi804d2se是什么手机(mi8是什么手机型号)

    mi804d2se是什么手机(mi8是什么手机型号)

  • 网上订机票怎么取票(网上订机票怎么选座位)

    网上订机票怎么取票(网上订机票怎么选座位)

  • 手机京东怎么加好友(手机京东怎么加入店铺会员)

    手机京东怎么加好友(手机京东怎么加入店铺会员)

  • 富士胶片模拟怎么设置(富士胶片模拟怎么关闭)

    富士胶片模拟怎么设置(富士胶片模拟怎么关闭)

  • 6.53英寸屏幕长宽多少(6.5英寸屏幕多长)

    6.53英寸屏幕长宽多少(6.5英寸屏幕多长)

  • ipad下载爱奇艺要付费吗(ipad下载爱奇艺为什么是小屏幕)

    ipad下载爱奇艺要付费吗(ipad下载爱奇艺为什么是小屏幕)

  • 怎么解决快手视频模糊(怎么解决快手视频卡顿)

    怎么解决快手视频模糊(怎么解决快手视频卡顿)

  • 手机号定位怎么取消(手机号定位怎么操作)

    手机号定位怎么取消(手机号定位怎么操作)

  • 大二学生web期末大作业 在线电影网站 HTML+CSS+JS(大二期末要考试吗)

    大二学生web期末大作业 在线电影网站 HTML+CSS+JS(大二期末要考试吗)

  • inncheck命令  检查语法(checksum命令)

    inncheck命令 检查语法(checksum命令)

  • 工商年报纳税总额包括哪些税
  • 年金个税税率表
  • 增值税专用发票使用规定 最新
  • 小企业准则汇兑损失计入什么科目
  • 国有独资企业交企业所得税规定
  • 售后回租涉税
  • 计提个人社会保险费
  • 收回已确认的坏账的应收账款
  • 公司代扣代缴个税完税凭证在哪里可以打印
  • 费用摊销怎么做
  • 应入固定资产的已做费用,如何调账
  • 库存商品检验合格标准
  • 缴纳增值税金税率是多少
  • 收到借款利息怎么做会计分录
  • 认缴制下股权转让如何不交税
  • 招待用酒可以抵扣所得税吗
  • 一卡通充值计入什么费
  • 挂靠行为应当如何纳税?
  • 处理固定资产开什么发票
  • 已完成认证
  • 固定资产一次计入成本费用
  • 筹资活动流入的现金是内源融资吗
  • win10无法设置pin码怎么办
  • 微软正式宣布收购动视暴雪
  • PHP:mb_eregi_replace()的用法_mbstring函数
  • 委托加工物资企业原材料都是自己采购
  • 增值税的计税依据包括关税吗
  • php单例模式例子
  • 朱砂矿洞的历史
  • 汽车维修费发票怎么开
  • 汽车以旧换新怎么操作
  • 健身房注册公司名称带超字
  • 财务核算科目核算流程图
  • 非货币型资产交换CPA
  • 工程运维预缴增值税税率
  • 帝国cms使用手册
  • mongodb游记
  • 织梦设置的关键词看不到
  • 长期股权投资成本法
  • 购买火车票报销,实际没乘车能查到嘛
  • 银行承兑汇票的特点
  • 房租付了没有及时取得发票怎么入账
  • 话费报销属于什么费用
  • 差旅费属于什么支出类型
  • 材料报废如何做分录
  • 公司申报的工资和实际发放的工资不一样怎么办
  • 企业清算未收到发票
  • 预收账款占销售收入比例预警值为比例大于
  • 可供出售金融资产公允价值变动
  • 支付宝如何打印付款凭证
  • 黑白电子版照片如何变成彩色
  • 怎么开具
  • 仓库周转率是什么意思
  • mysql获取所有表的数据量
  • mysql免安装版本
  • Windows Server 2008病毒偷改账号的安全隐患
  • centos opencl
  • centos nohup
  • WZCBDLS.EXE - WZCBDLS是什么进程
  • win8自带的视频播放器打不开
  • dvd-rom drive是什么意思
  • 如何使用调制解调器
  • win7升级win10系统版本软件还有吗
  • win7 windows安全
  • win10一周年版本
  • window10提示更新总是
  • opengl颜色混合模式
  • js中onunload
  • js必学知识点
  • easyui demo
  • django框架mvt
  • 如何优化营商环境
  • unity系统错误
  • 利用python做一个文字小游戏
  • python中执行同一函数3次
  • javascript 加法
  • 外部js获取当前vue实例
  • 小规模企业所得税怎么算
  • 贵州网上税务局官网登录
  • 输入税控盘密码是填证书口令吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设