位置: IT常识 - 正文

深度学习大模型框架的简单介绍(ChatGPT背后原理的基本介绍)

编辑:rootadmin
深度学习大模型框架的简单介绍(ChatGPT背后原理的基本介绍) 一、引言

推荐整理分享深度学习大模型框架的简单介绍(ChatGPT背后原理的基本介绍),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

主流的深度学习基础框架有很多:tensorflow、pytorch、paddlepaddle、keras、caffee等等。

随着以Bert、GPT系列为代表的NLP预训练语言模型的诞生,对于NLP的语言模型研究走向了大规模预训练之路。

在CV领域,随着GAN、Diffusion Model、Transformers与传统CV技术的结合,也逐步走向了大模型之路,DALL·E2的爆炸效果也是基于“大力出奇迹”。

在多模态领域,CLIP等模型参数也很大。

这似乎预示着,只有“大力出奇迹”才是强人工智能的未来之路。像当下异常火爆的ChatGPT的背后原理则是超大规模模型GPT-3采用STF+RLHF(Supervised Fine-Tuning Reinforcement Learning Human Feedback)进行训练得来。

因此,基于基础深度学习框架,学习了解大模型深度学习框架是必不可少的。而这方面的研究,更多的是系统方向和深度学习的结合。

二、深度学习系统方向发展简单介绍

深度学习在2014年之后,开始大火,缘由在于2012年,AlexNet模型引起的计算机视觉图像分类任务的变革方法。在此之后,DL领域很卷,模型相继很大,系统方向的研究也层出不穷。

2.1 参数服务器(Parameter Server)

论文地址:参数服务器:李沐 这个工作是李沐在2014年完成的工作,其核心在于提出一种数据并行(Data Parallel)的参数服务器,目的是使得大规模的机器学习模型能在工业界完成训练。

其意义在于:为之后大规模深度学习框架ZeRO提供了思路借鉴。

(后续会针对这篇论文进行精读,发一个博客,有兴趣的童鞋可以关注)

2.2 GPipe

论文地址:Gpipe:2019

这篇论文提出一个新的大规模深度学习框架。它采用一种流水线并行的方式,实现了更少显存的情况下训练了更大的模型。这些大模型包括语言模型和CV的一些模型。

其意义在于:提出一种流水线并行的方式,对大模型不同的层之间进行切片训练。

它有两个关键技术: (1)micro-batch 把L层的神经网络按层切开(层外),一共为K快。然后把每一块放到一个GPU上进行计算。如上图(b)所示。但这种方式,在时间层面上,和单卡训练的时间没啥区别。为了解决这个问题,可以对每个小批量的数据样本再进行切分成微批量(micro-batch),然后每个时刻只让一个微批量送入GPU中进行训练,如上图©所示。这样即可实现简单流水线并行。其中的Bubble形状只与GPU数量相关。若增加微批量的数目,则会进一步增加GPU的存储利用率。 (2)re-materialization(active checkpoint) 每层中间计算的梯度数据会占用大量的GPU显存。 实际上,梯队下降算法更新梯度时,是对参数W求偏导梯度。这里之所以要求y对x的偏导是因为,反向传播时,需要用到这个数值(通常称为:activation)。而这个数值在前向传播时若已求得,并保存到显存中,会加快反向传播的速率。但增大了内存使用量。

re-materialization技术是指在对L层大规模神经网络分为若干块后,对每个快连接的地方的网络层的相关前向传播梯度数据进行保存,而其他层则在反向传播时重新计算。(时间换空间)

这样会节省大量GPU显存。

使得在少量GPU或使用较少的显存能训练起来更大的模型。

重新计算占用总计算时间的三分之一。(暂未有论文论述原因)

其他的工作:PipeDream(微软的工作)

2.3 Megatron-LM (张量并行 TP)

论文地址:Megatron-LM:2019 该模型提出一种特殊的模型并行(Model Parallel)方法,即层内模型并行也叫张量并行(Tensor Parallel)。

该框架最大的贡献在于:开源+简单。

这导致后续的深度学习大模型开源框架都或多或少是在该框架基础上进行的改进和修整。 Megatron-LM框架只针对语言模型。主要是GPT、Bert、T5等模型。

对于Bert,该框架对其层归一化做了上图的修改,才能使得大规模Bert模型能得到收敛。

深度学习大模型框架的简单介绍(ChatGPT背后原理的基本介绍)

对于张量并行,其切分方法只有两种,一种是对MLP的切分,一种是对Self-Attention的切分。

2.4 Zero (Offload Infinity)

论文地址:ZeRO

该框架是在Megatron基础上构建,其开源框架为DeepSpeed

这是一个较为容易上手的大规模预训练语言模型框架。它不仅实现了ZeRO,还包括ZeRO Offload 及 ZeRO Infinity。

实际上,ZeRO采用的思想和参数服务器的思想基本一致,都是对超大规模深度神经网络模型在训练过程中,产生的参数、优化器状态、梯度等使用数据并行的方式,进而减少冗余,以使得更少的显存占用训练更大的模型。

ZeRO需要对三块数据进行数据并行优化: 优化器状态(Optimizer states) os 梯度数据(gradients) g 超参数数据(parameters) p

其中:Pos=ZeRO1、Pos+g=ZeRO2、Pos+g+p=ZeRO3

讲这三个数据之前要讲一个重点内容:混合精度训练(mixed-precision)

2.4.1 mixed-precision

nvidia的卡在半精度训练会更快点儿,即fp16位浮点数。

原因:在硬件上来说,每个bit都要对应硬件的计算逻辑单元,即物理的门来帮助运算当把正常的浮点运算从32位降到一半时,能剩下大量的物理门电路逻辑运算单元。意味着在相同尺寸的芯片上,则能放到更多的,能并行计算机的物理单元。所以,从计算密度角度来说,fp16要比fp32要高。

使用半精度训练的意思是指:对模型每个层的w(parameters)和中间结果数据的输入输出(activations)都是使用fp16进行训练的

w*x=y 这个运算过程都是fp16,但由于fp16的精度不够,导致会出现爆炸。即很小的数会变成0.这种情况在累计权重的时候会出现。权重是指不断的把梯度的东西加进来。如果,权重也是fp16的话,加半天也加不动,因此,在权重更新时,采用fp32进行的。

权重还有一个额外的fp32的复制,在做梯度更新时,需要使用fp32的精度进行计算,算完后再转为fp16,再参与前向传播和反向传播算法。

2.4.2 训练过程中维护的数据量计算

假设一个模型的参数占用的存储量是Y

则在前向传播和后向传播计算过程中的fp16的参数量(parameter)需要维护2Y(bytes),fp16的梯度(gradients)需要维护2Y(bytes)。

优化器(ADAM)需要维护三个fp32的数据(做梯度更新采用fp32的精度进行计算)。复制的参数量(parameter):4Y (bytes)、momentum (bytes)、variance (bytes)

这些一共是16Y的数据保存量。若一个GPT2(1.5B)模型训练起来,需要保存的数据量会扩大到1.5*16B的情况。

(后续会补充 Offload 和 Infinity的相关内容)

2.5 Pathways 2022

论文地址:Pathways:2022

基于谷歌的Tensorflow系列的大模型 引出Jeff Dean对下一代深度学习框架的预测:

多模态、稀疏、动态路由

2.6 InstructGPT

论文地址:InstructGPT

这个模型是ChatGPT背后的模型之一。当前ChatGPT模型的论文还没有出来,预计还需要几个月的时间。但参考这篇文章的核心思想已经可以确定ChatGPT是向哪个方向去发展了。

2.6.1 数据集采集

(1)雇佣一些工作人员去编写一些问题和对应答案的数据集。 (2)用第一批数据集训练第一个InstructGPT模型,然后再对相关问题再进行预测,基于此扩充更大的数据集。

2.6.1 Supervised Fine-Tuning (SFT) prompt

这个思想很简单,就是使用GPT-3去在人类标注的问答对上进行训练。当然也采用了prompt learning的思想。

2.6.1 RLHF (Reinforcement Learning Human Feedback)

简单来说,就是采用强化学习的方式,对某个问题的不同个答案进行排序。训练目标就是让模型预测出的排序和人类进行排序的答案一致。也被称为一种Reward Model。而这种反馈来自于人类。

三、总结

目前训练超大规模语言模型主要有两条技术路线:TPU + XLA + TensorFlow/JAX (Pathways)和 GPU + PyTorch + Megatron-LM + DeepSpeed。前者由Google主导,由于TPU和自家云平台GCP深度绑定,对于非Googler来说, 只可远观而不可把玩,后者背后则有NVIDIA、Meta、MS大厂加持,社区氛围活跃,也更受到群众欢迎。

本文链接地址:https://www.jiuchutong.com/zhishi/298493.html 转载请保留说明!

上一篇:Vue3中修改父组件传递到子组件中的值(全网少有)(vue修改父组件的值)

下一篇:程序员未来是不是会大量失业?(程序员未来会失业吗)

  • 微信推广运营7种方法(微信推广运营发展前景)

    微信推广运营7种方法(微信推广运营发展前景)

  • 苹果4s怎么下载低版本软件(苹果4s怎么下载歌曲)(苹果手机怎样下载软件)

    苹果4s怎么下载低版本软件(苹果4s怎么下载歌曲)(苹果手机怎样下载软件)

  • word加着重号(word加着重号图案样式)

    word加着重号(word加着重号图案样式)

  • oppo修改软件名字(如何修改软件名称oppo)

    oppo修改软件名字(如何修改软件名称oppo)

  • 优酷怎么赠送好友电影(优酷怎么赠送好友会员体验卡)

    优酷怎么赠送好友电影(优酷怎么赠送好友会员体验卡)

  • 华为手机横幅通知是什么

    华为手机横幅通知是什么

  • 怎么看iwatch是第几代(怎么看自己iwatch第几代)

    怎么看iwatch是第几代(怎么看自己iwatch第几代)

  • 华为nova6开发者选项在哪(华为nova6开发者选项在哪里打开)

    华为nova6开发者选项在哪(华为nova6开发者选项在哪里打开)

  • 6000mah等于多少毫安(6000mah等于多少wh)

    6000mah等于多少毫安(6000mah等于多少wh)

  • 有线耳机连不上手机(华为有线耳机连不上)

    有线耳机连不上手机(华为有线耳机连不上)

  • 苹果7能用18w快充吗(苹果7支持18wpd快充吗)

    苹果7能用18w快充吗(苹果7支持18wpd快充吗)

  • 闲鱼发布的莫名被删除(闲鱼发布的东西总是显示被删除)

    闲鱼发布的莫名被删除(闲鱼发布的东西总是显示被删除)

  • vivo文件管理压缩包能删吗(vivo手机文件管理的压缩包可以删除吗)

    vivo文件管理压缩包能删吗(vivo手机文件管理的压缩包可以删除吗)

  • xr来电不显示名字(xr来电不显示名称怎么办)

    xr来电不显示名字(xr来电不显示名称怎么办)

  • airpods没有充电盒怎么充电(airpods没有充电仓怎么连接手机)

    airpods没有充电盒怎么充电(airpods没有充电仓怎么连接手机)

  • 美团怎么买学生火车票(美团怎么买学生票电影)

    美团怎么买学生火车票(美团怎么买学生票电影)

  • word excel ppt啥意思

    word excel ppt啥意思

  • 手机qq主题怎么换自定义(手机qq主题怎么设置)

    手机qq主题怎么换自定义(手机qq主题怎么设置)

  • 怎么显示电量(怎么显示电量多少)

    怎么显示电量(怎么显示电量多少)

  • 荣耀手机nfc功能是什么(荣耀手机nfc功能怎么使用公交卡)

    荣耀手机nfc功能是什么(荣耀手机nfc功能怎么使用公交卡)

  • 美颜相机会改变五官吗(美颜相机会改变照片的像素吗)

    美颜相机会改变五官吗(美颜相机会改变照片的像素吗)

  • 为什么录屏的视频没有声音(为什么录屏的视频没有声音iqoo)

    为什么录屏的视频没有声音(为什么录屏的视频没有声音iqoo)

  • 二维码收款受限怎么办(二维码收款受限怎么解决)

    二维码收款受限怎么办(二维码收款受限怎么解决)

  • vivo5g手机几月份上市(vivo手机一般几月出新款)

    vivo5g手机几月份上市(vivo手机一般几月出新款)

  • 小米手环4可以接电话吗(小米手环4可以自定义壁纸吗)

    小米手环4可以接电话吗(小米手环4可以自定义壁纸吗)

  • 电脑删文件需要管理员权限怎么解决?(电脑删文件需要授权)

    电脑删文件需要管理员权限怎么解决?(电脑删文件需要授权)

  • 测速器在线测网速的方法是什么?(测速网在线测速)

    测速器在线测网速的方法是什么?(测速网在线测速)

  • 在win7中,浏览网页总弹出脚本调试器的原因是什么?(win7如何调出浏览器)

    在win7中,浏览网页总弹出脚本调试器的原因是什么?(win7如何调出浏览器)

  • 应纳所得税额的税率
  • 外商投资的企业是民营企业吗
  • 小微企业亏损还用缴残保金吗
  • 离职补偿金入账
  • 支付员工费用报销账务处理
  • 现金支票怎么支付的
  • 行政单位库存材料包括哪些
  • 如何申报加计抵减
  • 置换新房产支付资金怎么纳税?
  • 住宿费专用发票税率是多少
  • 什么样的企业用交税
  • 新版增值税开票软件怎么下载
  • 进项税额一直大于销项税额
  • 商品进销差价进哪个科目
  • 吊车租赁增值税税率最新2022
  • 保障性住房享有怎么取消儿子的名字呀
  • 其他收益等于什么
  • 酒店产权式经营业主取得的收入按股利红利所得
  • deepin切换系统
  • 硬盘安装系统方法
  • 广告牌费用会计分录
  • url是什么格式的文件怎么打开
  • 营改增后房租收入怎么交税
  • msstat.exe - msstat是什么进程 有什么用
  • 金鱼花的养殖方法与注意事项
  • php变量的基本概念
  • 学生兼职收入按什么交个税
  • javascript基础语法
  • framework在哪里打开
  • 编制合并报表的母子公司是什么主体
  • 纺织企业成本核算方案
  • vue3项目实战
  • 开源代码网站github
  • 分割sw
  • 大小周是否违反劳动法
  • 存货毁损计入什么科目
  • 固定资产折旧应纳税所得额调整
  • 织梦网站怎么改logo
  • 公司销售自己使用过的固定资产
  • 企业赠送客户礼品涉税
  • 季度对账单 怎么处理
  • 哪个命令可以对mysql数据库做完全备份
  • 企业的股息红利所得要交税吗
  • 职工给单位造成损失可以申请仲裁吗
  • 医院能开增值发票吗
  • 软件研发的整个流程
  • 收入费用表本期盈余与资产负债表不一致
  • 水电费 会计
  • 电影院租金一般多少为合理
  • 出口视同内销账务处理?
  • 先收款次月发票怎么做账
  • 会计科目中的财务费用
  • 行政单位年终奖的相关发放规定
  • 案例解析企业所需资金
  • 购入旧的固定资产还能一次性抵扣吗
  • 在SQL Server中使用存储过程的优点包括
  • centos7.6无法远程
  • 如何把数据生成表格
  • centos页面
  • info.exe是什么病毒
  • windows8开机启动项在哪里设置
  • win8microsoft账户
  • nilaunch.exe - nilaunch是什么进程 有什么用
  • 升级win102004
  • 在linux操作系统中,/etc/rc.d/init.d
  • win10预览版绿屏重启解决
  • windows8音频服务尚未启用 怎么解决
  • jquery插件库怎么导入
  • nodejs内置的包管理器
  • jquery中绑定事件
  • jquery的实现原理
  • javascript设置字体
  • javascript的用法
  • 1.6排量算大吗
  • 出口退税退运需要什么
  • 广东省电子学校
  • 比亚迪车载物联网卡
  • 综合征收和分类征收
  • 国家发票真伪查验
  • 抄报税怎么弄
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设