位置: IT常识 - 正文

PyTorch学习系列教程:何为Tensor?(pytorch如何学)

编辑:rootadmin
PyTorch学习系列教程:何为Tensor?

推荐整理分享PyTorch学习系列教程:何为Tensor?(pytorch如何学),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pytorch怎么学,pytorch入门教程(非常详细),pytorch入门到进阶,pytorch怎么学,pytorch教程推荐,pytorch 入门教程,pytorch 入门教程,pytorch讲解,内容如对您有帮助,希望把文章链接给更多的朋友!

导读

本文继续PyTorch学习系列教程,来介绍在深度学习中最为基础也最为关键的数据结构——Tensor。一方面,Tensor之于PyTorch就好比是array之于Numpy或者DataFrame之于Pandas,都是构建了整个框架中最为底层的数据结构;另一方面,Tensor又与普通的数据结构不同,具有一个极为关键的特性——自动求导。今天,本文就来介绍Tensor这一数据结构。

作为Tensor的入门介绍篇,本文主要探讨三大"哲学"问题:何为Tensor?Tensor如何创建?Tensor有哪些特性?

01 何为Tensor

什么是Tensor?Tensor英文原义是张量,在PyTorch官网中对其有如下介绍:

也就说,一个Tensor是一个包含单一数据类型的高维矩阵,简言之Tensor其实和Numpy里的array是一样的。那么,高维矩阵,几维算高维呢(类似于深度学习,多深的网络才算是深度的?)?一般而言,描述Tensor的高维特性通常用三维及以上的矩阵来描述,例如下图所示:单个元素叫标量(scalar),一个序列叫向量(vector),多个序列组成的平面叫矩阵(matrix),多个平面组成的立方体叫张量(tensor)。当然,就像矩阵有一维矩阵和二维矩阵乃至多维矩阵一样,张量也无需严格限制在三维以上才叫张量,在深度学习的范畴内,标量、向量和矩阵都统称为张量。

熟悉机器学习的都知道,有监督机器学习模型的标准输入通常是多个特征列组成的输入矩阵和单个特征列组成的标签向量(多输出时,标签也可以是二维矩阵),用sklearn的约定规范就是训练数据集为(X, y),其中大写X表示特征是一个二维的矩阵,小写y表示标签是一个一维的向量。那么,在深度学习领域中,为何要约定高维数组——Tensor呢?

其实这是出于应用方向的实际需要,以深度学习当前最成熟的两大应用方向莫过于CV和NLP两大领域,前者面向图像和视频,后者面向语音和文本,二者分别以卷积神经网络和循环水神经网络为核心基础模块。而在这两个应用方向中,标准的输入数据集都至少是三维以上,例如:

图像数据集至少包含三个维度:N×H×W,即样本数×图像高×图像宽;如果是彩色图像,那么还要增加一个通道C,变为N×C×H×W;如果是视频图像,那么可能还要再增加一个维度T;

文本数据集典型的输入包含三个维度:N×L×H,即样本数×序列长度×特征数;

源于这些应用的需要,所以深度学习模型的输入数据结构一般都要3维以上,这也就直接促使了Tensor的出现。更进一步的,Tensor也不是PyTorch特有的定义,而是众多深度学习框架广泛使用的数据结构,例如TensorFlow更是形象的将Tensor加入了框架的命名之中。

小结一下:PyTorch中的Tensor是深度学习中广泛使用的数据结构,本质上就是一个高维的矩阵,甚至将其理解为NumPy中array的推广和升级也不为过。但由于其支持的一些特殊特性(详见后文第3小节),Tensor在用于支撑深度学习模型和训练时更为便利。

02 如何创建Tensor

前面介绍了何为Tensor,那么接下来就需要了解如何创建Tensor。一般而言,创建一个Tensor大体有三种方式:

从已有其他数据结构转化创建为Tensor

随机初始化一个Tensor

从已保存文件加载一个Tensor

当然,这大概也是一段计算机程序中所能创建数据的三种通用方式了,比如基于NumPy创建一个Array其实大体也是这三种方式。

下面依次予以介绍。

1.从已有其他数据结构转化创建为Tensor

这可能是实际应用中最常用的一种形式,比如从一个列表、从一个NumPy的array中读取数据,而后生成一个新的Tensor。为了实现这一目的,常用的有两种方式:

torch.tensor

torch.Tensor

没错,二者的区别就是前者用的是tensor函数(t是小写),后者用的是Tensor类(T是大写)。当然,二者也有一些区别,比如在创建Tensor的默认数据类型、支持传参以及个别细节的处理方面。举个例子,首先是创建的Tensor默认数据类型不同:

其次,应用Tensor类初始化输入一个整数将返回一个以此为长度的全零一维张量,而tensor函数则返回一个只有该元素的零维张量:

当然,上述有一个细节需要优先提及:应用Tensor类接收一个序列创建Tensor时,返回的数据类型为float型,这是因为Tensor是FloatTensor的等价形式,即除此之外还有ByteTensor,IntTensor,LongTensor以及DoubleTensor等不同的默认数据类型。

基于已有数据创建Tensor还有两个常用函数:

from_numpy

as_tensor

二者与上述方法最大的不同在于它们返回的Tensor与原有数据是共享内存的,而前述的tensor函数和Tensor类则是copy后创建一个新的对象。举个例子来说:

2.随机初始化一个Tensor

随机初始化也是一种常用的形式,比如在搭建一个神经网络模型中,其实在添加了一个模块的背后也自动随机初始化了该模块的权重。整体而言,这类方法大体分为两种形式:

torch.xxxx,创建一个特定类型的tensor,例如torch.ones,torch.randn等等

torch.xxx_liek,即根据一个已有Tensor创建一个与其形状一致的特定类型tensor,例如torch.ones_like,torch.randn_like等等

例如,随机构建一个PyTorch中的全连接单元Linear,其会默认创建相应的权重系数和偏置(注意,由于网络参数一般是需要参与待后续的模型训练,所以默认requires_grad=True):

整体来看,这两类方法与NumPy中的相应方法特性几乎一致,基本可以从函数名中get到其相应的含义,这里也不再展开。

3.从已保存文件加载一个Tensor

文件作为交互数据的常用形式,PyTorch中自然也不会缺席。实际上,PyTorch不会刻意区分要保存和加载的对象是何种形式,可以是训练好的网络,也可以是数据,这在Python中就是pickle。实现这一对互逆功能的函数是torch.save和torch.load。另外,值得指出的是,保存后的文件没有明确的后缀格式要求,常用的后缀格式有三种:

PyTorch学习系列教程:何为Tensor?(pytorch如何学)

.pkl

.pth

.pt

举个例子:

小结一下:PyTorch中创建一个Tensor大体可分为三种方法,即:1)从一个已有数据结构转换为Tensor,2)随机初始化生成一个Tensor,3)将已保存的文件加载为Tensor。其中,第一种方法主要用于构建训练数据集,第二种方法隐藏于网络模块参数的初始化,而第三种方法则可用于大型数据集的保存和跨环境使用。

03 Tensor的特性

PyTorch之所以定义了Tensor来支持深度学习,而没有直接使用Python中的一个list或者NumPy中的array,终究是因为Tensor被赋予了一些独有的特性。这里,我也将Tensor的特性概括为三个方面:

丰富的常用操作函数

灵活的dtype和CPU/GPU自由切换存储

自动梯度求解

下面分别予以介绍。

1.丰富的常用函数操作

Tensor本质上是一个由数值型元素组成的高维矩阵,而深度学习的过程其实也就是各种矩阵运算的过程,所以Tensor作为其基础数据结构,自然也就需要支持丰富的函数操作。构建一个Tensor实例,通过Python中的dir属性获取tensor实例支持的所有API,过滤以"_"开头的系统内置方法外(例如"__str__"这种),剩余结果仍有567种,其支持的函数操作之丰富程度可见一斑。

这些函数有的是对自身进行操作,例如tensor.max(), tensor.abs()等等,有的是用于与其他tensor进行相关操作,例如tensor.add()用于与另一个tensor相加,tensor.mm()用于与另一个tensor进行矩阵乘法等等。当然,这里的相加和相乘对操作的两个tensor尺寸有所要求。

除了支持的函数操作足够丰富外,tensor的API函数还有另一个重要的便利特性:绝大多数函数都支持两个版本:带下划线版和不带下划线版,例如tensor.abs()和tensor.abs_(),二者均返回操作后的Tensor,但同时带下划线版本属于inplace操作,即调用后自身数据也随之改变。

inplace版函数共有159种

2.灵活的dtype和CPU/GPU自由切换

前面在介绍Tensor的创建时已提到了dtype的概念,其类似于NumPy和Pandas中的用法,用于指定待创建Tensor的数据结构。PyTorch中定义了10种不同的数据结构,包括不同长度的整型、不同长度的浮点型,整个Tesor的所有元素必须数据类型相同,且必须是数值类型(NumPy中的array也要求数组中的元素是同质的,但支持字符串类型的):

Tensor中的10种数据类型(不完整版)

除了支持不同的数值数据类型外,Tensor的另一大特色是其支持不同的计算单元:CPU或GPU,支持GPU加速也是深度学习得以大规模应用的一大关键。为了切换CPU计算(数据存储于内存)或GPU计算(数据存储于显存),Tensor支持灵活的设置存储设备,包括如下两种方式:

创建tensor时,通过device参数直接指定

通过tensor.to()函数切换

to()既可用于切换存储设备,也可切换数据类型

当然,能够切换到GPU的一大前提是运行环境带有独立显卡并已配置CUDA……此外,除了dtype和device这两大特性之外,其实Tensor还有第三个特性,即layout,布局。主要包括strided和sparse_coo两种,该特性一般不需要额外考虑。

3.自动梯度求解

如果说支持丰富和函数操作和灵活的特性,那么Tensor还不足以支撑深度学习的基石,关键是还需要自动梯度求解。

深度学习模型的核心是在于神经元的连接,而神经元之间连接的关键在于网络权重,也就是各个模块的参数。正因为网络参数的不同,所以才使得相同的网络结构能实现不同的模型应用价值。那么,如何学习最优网络参数呢?这就是深度学习中的的优化利器:梯度下降法,而梯度下降法的一大前提就是支持自动梯度求解。

简言之,Tensor为了支持自动梯度求解,大体流程如下:

Tensor支持grad求解,即requires_grad=True

根据Tensor参与计算的流程,将Tensor及相应的操作函数记录为一个树结构(或称之为有向无环图:DAG),计算的方向为从叶节点流向根节点

根据根节点Tensor与目标值计算相应的差值(loss),然后利用链式求导法则反向逐步计算梯度(也即梯度的反向传播)

Tensor中的自动梯度求导有很多细节值得展开,这里仅稍加介绍,并留待后续单独推文加以分享。

小结一下:Tensor具有很多特性,这使得其可以支撑深度学习的复杂操作,个人认为比较重要的包括三个方面,即:1)丰富的操作函数,2)三大特性(dtype、device和layout),以及3)自动梯度求导。

04 小结

本文从何为Tensor—如何构建Tensor—Tensor有何特性三个方面入手,简要介绍了PyTorch中的核心数据结构——Tensor。理解并熟练运用Tensor的常用操作是深度学习的基石,就像"站在岸上学不会游泳"一样,学习Tensor的重点在于实践,毕竟“无他,唯手熟尔”!

交流群限时推广:

【小数志】公众号唯一读者交流群还有100个左右坑位,广泛招募热衷技术交流的大佬和萌新,欢迎添加个人微信:luanhz,我会拉你入群。名额有限,错过不再。

相关阅读:

写在1024:一名数据分析师的修炼之路

数据科学系列:sklearn库主要模块简介

数据科学系列:seaborn入门详细教程

数据科学系列:pandas入门详细教程

数据科学系列:matplotlib入门详细教程

数据科学系列:numpy入门详细教程

本文链接地址:https://www.jiuchutong.com/zhishi/300224.html 转载请保留说明!

上一篇:解决在vue3中使用reactive响应式,赋值后造成页面不改变的问题?(vue3 $bus)

下一篇:ES6 - Promise详解及用法(es6promise的理解)

  • vivox70pro+怎么设置双击锁屏(vivox70pro怎么设置来电闪光灯)

    vivox70pro+怎么设置双击锁屏(vivox70pro怎么设置来电闪光灯)

  • 华为支付保护中心的利弊(华为支付保护中心利弊)

    华为支付保护中心的利弊(华为支付保护中心利弊)

  • 腾讯直播和有播直播的区别(腾讯直播和各大直播平台的对比)

    腾讯直播和有播直播的区别(腾讯直播和各大直播平台的对比)

  • 华为手机怎样把歌曲设置为手机铃声(华为手机怎样把照片传到电脑)

    华为手机怎样把歌曲设置为手机铃声(华为手机怎样把照片传到电脑)

  • 小米10青春版边框是什么材质(小米10青春版边框材质)

    小米10青春版边框是什么材质(小米10青春版边框材质)

  • 手机正在通话中是怎么回事(手机正在通话中无法发起新的通话)

    手机正在通话中是怎么回事(手机正在通话中无法发起新的通话)

  • 放光盘的机器叫什么(放光盘的机器叫什么电脑)

    放光盘的机器叫什么(放光盘的机器叫什么电脑)

  • wps开发工具灰色不能用(wps开发工具灰色怎么调)

    wps开发工具灰色不能用(wps开发工具灰色怎么调)

  • iqooz1指纹在哪(iqooz3指纹在哪)

    iqooz1指纹在哪(iqooz3指纹在哪)

  • excel2010的对齐方式有哪些(excel2010对齐方式)

    excel2010的对齐方式有哪些(excel2010对齐方式)

  • 华为p40pro镜头需要贴膜吗(华为p40 pro镜头)

    华为p40pro镜头需要贴膜吗(华为p40 pro镜头)

  • 短信拉黑对方后 对方发信息是什么状态(短信拉黑对方后还能收到吗)

    短信拉黑对方后 对方发信息是什么状态(短信拉黑对方后还能收到吗)

  • 威客平台是干什么的(威客平台赚钱怎么样)

    威客平台是干什么的(威客平台赚钱怎么样)

  • 华为全网通是什么意思(华为移动全网通和全网通有什么区别)

    华为全网通是什么意思(华为移动全网通和全网通有什么区别)

  • iphone11缝隙大影响防水吗(iphone 11缝隙)

    iphone11缝隙大影响防水吗(iphone 11缝隙)

  • 苹果手机更新系统后无服务是怎么回事(苹果手机更新系统好吗)

    苹果手机更新系统后无服务是怎么回事(苹果手机更新系统好吗)

  • 京东过年期间发快递吗(京东过年期间发货吗)

    京东过年期间发快递吗(京东过年期间发货吗)

  • 网线没有插好如何解决(网线没插好会不会影响网速)

    网线没有插好如何解决(网线没插好会不会影响网速)

  • gpt和mbr的区别(固态硬盘gpt和mbr的区别)

    gpt和mbr的区别(固态硬盘gpt和mbr的区别)

  • 荣耀20如何删除后台程序(荣耀20如何删除图标)

    荣耀20如何删除后台程序(荣耀20如何删除图标)

  • 快手号注销需要多久(快手号注销需要什么条件)

    快手号注销需要多久(快手号注销需要什么条件)

  • 荣耀10怎样分屏操作(荣耀怎样分屏功能)

    荣耀10怎样分屏操作(荣耀怎样分屏功能)

  • Win11怎么截屏录屏?Win11截屏教程与快捷键(win11咋截屏)

    Win11怎么截屏录屏?Win11截屏教程与快捷键(win11咋截屏)

  • 华为鸿蒙系统支持手机型号名单(华为鸿蒙系统支持苹果手表吗)

    华为鸿蒙系统支持手机型号名单(华为鸿蒙系统支持苹果手表吗)

  • GPT-4报告解读(gpt指标)

    GPT-4报告解读(gpt指标)

  • 其他收益里的政府补助免税吗
  • 空调安装发票税率
  • 土地摊销计入在建工程吗
  • 取得虚开增值税专用发票罪
  • 新办商贸企业一般纳税人合同金额
  • 支付外汇货款
  • 企业作为二房东要交什么税
  • 当期免抵税额有什么用
  • 行政事业单位净资产关系图
  • 管理费用 结转
  • 贴标企业
  • 医疗器械销售初次拜访话术
  • 劳务报酬2019
  • 绿化工程企业所得税减免吗
  • 企业账户短信提醒可以用别人手机号吗
  • 公司聚餐一定要去吗
  • 增加以前年度收入是否需要更正申报年报
  • 个体工商户允许哪些经营范围
  • 小规模纳税人增值税减免
  • 已确定收入后补缴增值税
  • 行政事业单位的固定资产不计提折旧
  • 什么是民政福利企业
  • 高新企业最新政策2020
  • 怎么计算房地产成本单价
  • 苹果静音模式siri
  • 发出商品是在产品吗
  • macbook做bim
  • 商贸企业销售
  • 长期股权投资引入新投资者账务处理
  • 常见的财务报表分析方法有多选题
  • php curl设置cookie
  • php 输出
  • php的session和cookie实现登录
  • uniapp官方教程
  • css给div加边框
  • groupdel命令详解
  • 应收利息可以计入其他应收款吗
  • 软件开发企业如何核算成本
  • 金蝶会计报表公式
  • 从网上学电脑下载什么软件
  • php网站访问量大怎么优化
  • 股东撤资要交什么税
  • 什么情况下核定应纳税额
  • 厂房改造费用算固定资产吗
  • 企业享受政府补贴的具体方式
  • 门诊报销是怎么报的
  • 预收账款挂账多长时间必须确认收入
  • 出口货物弃货
  • 2013年11号公告企业政策性搬迁
  • 应该是先付款还是先开发票
  • 购入农产品的增值税税率是多少
  • 零余额账户怎么对账
  • 中央空调的维护费一年要多少钱?
  • 购买本公司产品未付款需要签名字吗
  • 建账是不是只需要科目余额表
  • 建账前应该考虑哪些问题
  • mysql 忘记密码重置密码
  • win10 Realtek HD Audio更新失败怎么办 win10关闭UAC解决Realtek HD Audio更新失败
  • ubuntu wine安装的软件怎么运行
  • xp系统怎么禁止软件联网
  • windows 8.1 build 9600
  • linux修改服务器ip地址
  • s24evmon.exe - s24evmon是什么进程 有什么用
  • win10系统怎么回滚
  • window10怎么升11
  • 在Linux系统中安装镜像步骤
  • 搭建安卓开发环境必须的工具
  • 如何获取硬盘所有文件的列表
  • jQ处理xml文件和xml字符串的方法(详解)
  • jquery给元素添加属性值
  • 常见的shell脚本
  • python中的open
  • JavaScript For...In 使用方法
  • Python中MySQL数据迁移到MongoDB脚本的方法
  • 国际税务局邮箱是多少
  • 江苏国税申报怎么操作流程
  • 国家税务总局2016年17号公告
  • 什么是深入调研工作
  • 土地增值税发票加计扣除5%年限
  • 中俄改订条约收回哪里
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设