位置: IT常识 - 正文

【tensorflow】制作自己的数据集(tensorflow gui)

编辑:rootadmin
【tensorflow】制作自己的数据集

推荐整理分享【tensorflow】制作自己的数据集(tensorflow gui),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:tensorflow教程,tensorflow jit,tensorflow jit,tensorflow1,tensorflow教程,tensorflow1 教程,tensorflow1 教程,tensorflows,内容如对您有帮助,希望把文章链接给更多的朋友!

  🔝🔝🔝🔝🔝🔝🔝🔝🔝🔝🔝🔝🔝🔝🔝🔝🔝

🥰 博客首页:knighthood2001

😗 欢迎点赞👍评论🗨️

❤️ 热爱python,期待与大家一同进步成长!!❤️

目录

数据集的基本介绍

tensorflow中的数据集

什么是TFDS

安装TFDS

用TFDS加载数据集

实例:将模拟数据制作成内存对象数据集

①生成模拟数据

②定义占位符

③建立session会话,获取并显示模拟数据。

④模拟数据可视化

运行结果

改进:创建带有迭代值并支持乱序功能的模拟数据集 


数据集的基本介绍

        数据集是样本的集合,在深度学习中,数据集用于模型训练。再用tensorflow框架开发深度学习模型之前,需要为模型准备好数据集。在训练模型环节,程序需要从数据集中不断地将数据输入模型,模型通过对注入数据的计算来学习特征。

tensorflow中的数据集

tensorflow中有4种数据集格式

        内存对象数据集:直接用字典变量feed_dict,通过注入模式向模型中输入数据。该数据集适用于少量的数据集输入。

        TFRecord数据集:用队列式管道(tfrecord)向模型输入数据。该数据集适用大量的数据集输入。

        Dataset数据集:通过性能更高的输入管道(tf.data)向模型输入数据。该数据集适用于tensorflow1.4之后的版本。

        tf.keras接口数据集:支持tf.keras语法的数据集接口。该数据集适用于tensorflow1.4之后的版本。

什么是TFDS

        TFDS是tensorflow中的数据集集合模块,该模块将常用的数据及封装起来,实现自动下载与统一的调用接口,为开发模型提供了便利。

安装TFDS

要求:tensorflow版本在1.12及以上。安装命令如下:

pip install tensorflow-datasets用TFDS加载数据集

这里以minst数据集为例

import tensorflow_datasets as tfdsprint(tfds.list_builders())ds_train, ds_test = tfds.load(name='mnist', split=["train", "test"])ds_train = ds_train.shuffle(1000).batch(128).prefetch(10)for features in ds_train.take(1): image, label = features["image"], ["label"]

重要结果如下:

Downloading and preparing dataset Unknown size (download: Unknown size, generated: Unknown size, total: Unknown size) to ~\tensorflow_datasets\mnist\3.0.1...Dataset mnist downloaded and prepared to ~\tensorflow_datasets\mnist\3.0.1. Subsequent calls will reuse this data.实例:将模拟数据制作成内存对象数据集

        本实例将用内存中的模拟数据来制作成数据集,生成的数据集被直接存放在python内存对象中,这样做的好处--数据集的制作可以独立于任何框架。

        本实例将生成一个模拟y≈2x的数据集,并通过静态图的方式显示出来。

步骤如下:

①生成模拟数据

②定义占位符

【tensorflow】制作自己的数据集(tensorflow gui)

③建立session会话,获取并显示模拟数据。

④模拟数据可视化

①生成模拟数据

        在样本制作过程中,最忌讳的是一次性将数据都放入内存中,如果数据量很大,这样容易造成内存用尽,即使是模拟数据,也不建议将数据全部生成以后一次性放入内存中,一般做法是:

Ⅰ创建一个模拟数据生成器,

Ⅱ每次只生成指定批次的样本

这样就在迭代过程中,就可以用“随用随制作”的方法来获取样本数据。

        下面定义GenerateData函数来生成模拟数据,并将GenerateData函数的返回值设为以生成器方式返回。这种做法使内存被占用的最少。

import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plttf.compat.v1.disable_v2_behavior()#在内存中生成模拟数据def GenerateData(batchsize = 100): train_X = np.linspace(-1, 1, batchsize) #train_X为-1到1之间连续的100个浮点数 train_Y = 2 * train_X + np.random.randn(*train_X.shape) * 0.3 # y=2x,但是加入了噪声 yield train_X, train_Y #以生成器的方式返回

        函数使用yield,使得函数以生成器的方式返回数据。生成器对象只生成一次,过后便会自动销毁,可以省略大量的内存。

②定义占位符#定义网络模型结构部分,这里只有占位符张量Xinput = tf.compat.v1.placeholder("float", (None))Yinput = tf.compat.v1.placeholder("float", (None))

注意:在正常的模型开发中,这个环节应该是定义占位符和网络结构,在训练模型时,系统会将数据集的输入数据用占位符来代替,并使用静态图的注入机制,将输入数据传入模型进行迭代训练。因为本实例只需要从数据集中获取数据,所以只定义占位符,不需要定义其他网络节点。

③建立session会话,获取并显示模拟数据。

        首先定义数据集的迭代次数,接着建立会话,在会话中使用两层for循环;第一层是按照迭代次数来循环,第二层是对GenerateData函数返回的生成器对象进行循环,并将数据打印出来。

        因为GenerateData函数返回的生成器对象只有一个元素,所以第二层循环也只运行一次。

#建立会话,获取并输出数据training_epochs = 20 # 定义需要迭代的次数with tf.compat.v1.Session() as sess: # 建立会话(session) for epoch in range(training_epochs): #迭代数据集20遍 for x, y in GenerateData(): #通过for循环打印所有的点 xv,yv = sess.run([Xinput,Yinput],feed_dict={Xinput: x, Yinput: y}) #通过静态图注入的方式,传入数据 print(epoch,"| x.shape:",np.shape(xv),"| x[:3]:",xv[:3]) print(epoch,"| y.shape:",np.shape(yv),"| y[:3]:",yv[:3])

代码开始定义了数据集的迭代次数,这个参数在训练模型中才会用到。

④模拟数据可视化#显示模拟数据点train_data = list(GenerateData())[0]plt.plot(train_data[0], train_data[1], 'ro', label='Original data')plt.legend()plt.show()运行结果...17 |x.shape: (100,) |x[:3]: [-1. -0.97979796 -0.959596 ]17 |y.shape: (100,) |y[:3]: [-2.0945473 -2.1236315 -1.6280223]18 |x.shape: (100,) |x[:3]: [-1. -0.97979796 -0.959596 ]18 |y.shape: (100,) |y[:3]: [-2.022675 -2.118289 -1.8735064]19 |x.shape: (100,) |x[:3]: [-1. -0.97979796 -0.959596 ]19 |y.shape: (100,) |y[:3]: [-2.0080116 -2.5169287 -1.6713679]

每行数据被|符号划分为3块区域,分别为:迭代次数、数据的形状、前三个元素的值。

可视化结果如下

改进:创建带有迭代值并支持乱序功能的模拟数据集 

优化如下:

①将数据集与 迭代功能绑定在一起,让代码变得更简洁。

②对数据集进行乱序排序,让生成的x数据无规则 。

通过对数据集的乱序,可以消除样本中无用的特征,从而大大提升模型的泛化能力。

注意:

在乱序操作部分使用的是sklearn.utils库中的shuffle()方法。要使用,首先需要安装,命令如下:

pip install sklearn

改进后全部代码如下: 

import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.utils import shuffletf.compat.v1.disable_v2_behavior()def GenerateData(training_epochs,batchsize=100): for i in range(training_epochs): train_X=np.linspace(-1,1,batchsize) train_Y=2*train_X+np.random.randn(*train_X.shape)*0.3 yield shuffle(train_X,train_Y),iXinput=tf.compat.v1.placeholder("float",(None))Yinput=tf.compat.v1.placeholder("float",(None))training_epochs=20with tf.compat.v1.Session() as sess: for (x,y),ii in GenerateData(training_epochs): xv,yv=sess.run([Xinput,Yinput],feed_dict={Xinput:x,Yinput:y}) print(ii,"|x.shape:",np.shape(xv),"|x[:3]:",xv[:3]) print(ii,"|y.shape:",np.shape(yv),"|y[:3]:",yv[:3])train_data=list(GenerateData(1))[0]plt.plot(train_data[0][0],train_data[0][1],'ro',label='Original data')plt.legend()plt.show()

可视化结果图片如下:

本文链接地址:https://www.jiuchutong.com/zhishi/299692.html 转载请保留说明!

上一篇:vue2.x与vue3.x中自定义指令详解(vue2vue3的区别)

下一篇:NLP与ChatGPT的碰撞:大模型和小模型联合发力(nlp track)

  • qq空间照片怎么批量下载到电脑(qq空间照片怎么上传原图)

    qq空间照片怎么批量下载到电脑(qq空间照片怎么上传原图)

  • 健康码可以解绑家人吗(健康码可以解绑几次手机号)

    健康码可以解绑家人吗(健康码可以解绑几次手机号)

  • 快手有消息为什么没有红点提示呢(快手有消息为什么不提醒)

    快手有消息为什么没有红点提示呢(快手有消息为什么不提醒)

  • 华为手机怎么取消连续包月(华为手机怎么取出卡槽)

    华为手机怎么取消连续包月(华为手机怎么取出卡槽)

  • 淘宝违规怎么恢复健康(淘宝违规怎么恢复正常)

    淘宝违规怎么恢复健康(淘宝违规怎么恢复正常)

  • 32gipad够用吗(32gbipad够吗)

    32gipad够用吗(32gbipad够吗)

  • 美团红包商家需要承担多少(美团红包商家需要付钱吗)

    美团红包商家需要承担多少(美团红包商家需要付钱吗)

  • 苹果手机怎么取消黑名单上的人(苹果手机怎么取消app自动续费)

    苹果手机怎么取消黑名单上的人(苹果手机怎么取消app自动续费)

  • 淘宝卖家可以取消买家订单吗(淘宝卖家可以取消买家未付款订单吗)

    淘宝卖家可以取消买家订单吗(淘宝卖家可以取消买家未付款订单吗)

  • 小米秤显示L(小米秤显示l是没电了吗)

    小米秤显示L(小米秤显示l是没电了吗)

  • matebook什么意思(华为matebook的百科)

    matebook什么意思(华为matebook的百科)

  • ios13原彩显示在哪里(iphone13原彩显示)

    ios13原彩显示在哪里(iphone13原彩显示)

  • tenda一直显示联网中(tenda一直处于联网中)

    tenda一直显示联网中(tenda一直处于联网中)

  • 小米售后换机是新机吗(小米售后换机是整套换吗)

    小米售后换机是新机吗(小米售后换机是整套换吗)

  • 手机wifi功能坏了(手机wifi功能坏了怎么上网)

    手机wifi功能坏了(手机wifi功能坏了怎么上网)

  • 华为怎么关闭畅连通话(华为怎么关闭畅读模式)

    华为怎么关闭畅连通话(华为怎么关闭畅读模式)

  • 荣耀v30pro5g是屏幕指纹吗(荣耀v30pro屏幕是)

    荣耀v30pro5g是屏幕指纹吗(荣耀v30pro屏幕是)

  • qq删除照片在哪里找回(qq删除照片在哪找)

    qq删除照片在哪里找回(qq删除照片在哪找)

  • 小米手机跳屏怎么解决办法(小米手机跳屏怎么解决办法是不是程序混乱了)

    小米手机跳屏怎么解决办法(小米手机跳屏怎么解决办法是不是程序混乱了)

  • 淘宝人生胡子怎么去除(淘宝人生 胡子)

    淘宝人生胡子怎么去除(淘宝人生 胡子)

  • 抖音如何上传4分钟长视频(抖音如何上传4k60帧视频)

    抖音如何上传4分钟长视频(抖音如何上传4k60帧视频)

  • 电信怎么办理流量套餐(电信怎么办理流量卡)

    电信怎么办理流量套餐(电信怎么办理流量卡)

  • 美图秀秀去除眼睛反光(美图秀秀去除眼睛亮光)

    美图秀秀去除眼睛反光(美图秀秀去除眼睛亮光)

  • l0n一al00是什么型号手机(ⅴky一al00是什么型号)

    l0n一al00是什么型号手机(ⅴky一al00是什么型号)

  • 网页编程中如何进行注释(网页编程如何计算园到)

    网页编程中如何进行注释(网页编程如何计算园到)

  • b站稿件管理在哪(b站app稿件管理)

    b站稿件管理在哪(b站app稿件管理)

  • Node 下 Http Streaming 的跨浏览器实现

    Node 下 Http Streaming 的跨浏览器实现

  • 以旧换新销售商品
  • 个人所得税信息采集怎么弄
  • 税控盘是什么东西多少钱
  • 所得税损益类科目包括
  • 结转未交增值税会计科目怎么写
  • 增值税专用发票怎么开
  • 待认证进项税账务处理
  • 收到商业承兑汇票到期付款通知单,据此登记相关账簿
  • 企业所得税免税项目
  • 税务异常有哪些类型
  • 用友取消操作在哪里
  • 临时设施摊销方案怎么写
  • 资产负债表中无形资产是原值还是净值
  • 职工出差餐费计入什么科目
  • 事业单位个税可以抵扣吗
  • 小规模企业如何
  • 预收房租款如何入账
  • 小微企业发放工资做账
  • 公司股权转让的税费处理
  • 托收凭证的会计科目
  • 出售股权收入会计分录
  • 免税收入和不征税收入有哪些?怎么记忆
  • 固定资产减值准备影响折旧吗
  • 成本转入费用
  • 在卸载程序里找不到软件怎么卸载
  • windows11入门
  • pop是什么文件
  • 即期结售汇期限包括
  • win11dev预览版可以升级正式版吗
  • 怎样识别?
  • 前端 php
  • 公司股东变更要交税吗可以将股东变更吗
  • 承接旅游业务
  • php全局函数
  • 如何利用数据有效性制作单元格菜单
  • chatto
  • 如何在js中给字母排序
  • 智能优化算法及其MATLAB实例
  • php无限级分销
  • Emiller's Advanced Topics In Nginx Module Development
  • 投资性房地产按公允价值计量
  • 车险增值税发票模板图片
  • 研发企业所得税税率
  • 汇款和转账有什么区别吗
  • 资金账簿印花税减半政策
  • 残疾人保障金汇算清缴的处理
  • 营运资金周转率是什么指标
  • 保险理赔进项税额转出
  • 个税申报属于哪个部门的职责
  • 资产负债表里的固定资产是原值还是净值
  • 盈利性幼儿园怎么办理
  • 金税盘锁死341101
  • 企业职工食堂就餐收费
  • 建筑行业有哪些生意可以做
  • 短期借款核算的会计分录
  • 个人独资企业取得拆迁补偿款税收规定
  • 金税盘显示已到锁死期
  • 房地产企业会计科目
  • mysql使用入门
  • mysql日期用什么数据类型
  • sqlserver2000企业管理器自动关闭
  • 利用内置管理工具的方法
  • centos挂载cd
  • 如何重设苹果手机的ID密码
  • centos 安装选择
  • linux安装pip2
  • 文件属性命令
  • Linux 压缩某个文件夹的实现方法
  • 批处理文件就是将若干文件集中起来
  • html中的td
  • css div 不换行
  • python如何将矩阵转为图像
  • 用python写网页
  • android图片库
  • js动态生成函数
  • javascript中checkbox使用方法简单实例演示
  • jquery.form.js实现文件上传
  • 增值税发票打印机怎么连接电脑
  • 社保ukey怎么使用
  • 如何推进社会治理
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设