最近爆火的ChatGPT核心技术演进历程(最近爆火的抖音神曲)

推荐整理分享最近爆火的ChatGPT核心技术演进历程(最近爆火的抖音神曲)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:最近爆火的产品,最近爆火的产品推荐,最近爆火的产品,最近爆火的产品推销金句,最近爆火的产品有哪些,最近爆火的产品推荐,最近爆火的产品推销金句,最近爆火的产品有哪些,内容如对您有帮助，希望把文章链接给更多的朋友！

最近ChatGPT真是火的不行啊，准备针对ChatGPT出一个系列，帮助大家更好的理解，今天我们就简单聊聊ChatGPT的底层技术支持以及演进历程。

ChatGPT是由OpenAI团队研发创造， OpenAI是由创业家埃隆·马斯克、美国创业孵化器YCombinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得·蒂尔等人于2015年在旧金山创立的一家非盈利的AI研究公司，拥有多位硅谷重量级人物的资金支持，启动资金高达10亿美金；OpenAI的创立目标是与其它机构合作进行AI的相关研究，并开放研究成果以促进AI技术的发展。

GPT即Generative Pre-training Transformer，于2018年6月由OpenAI首次提出。是一种自然语言处理模型，使用多层变换器来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本从 GPT-1 到 GPT-3 智能化程度不断提升,ChatGPT 的到来也是 GPT-4 正式推出之前的序章。

转移学习的思想是将从一项任务中学习到的“知识”（例如，图像中的对象识别）应用于另一项任务（例如，视频中的活动识别）。在深度学习中，预训练又是转移学习的主要方法：在替代任务上训练模型（通常只是达到目的的一种手段），然后通过微调来适应感兴趣的下游任务。 基础模型通过转移学习和规模得以实现，因此转移学习使基础模型成为可能。

另外一个点就是基础模型的规模化训练。大规模化使基础模型更强大，因而GPT模型得以形成

大规模需要三个要素：

基于Transformer的序列建模方法现在应用于文本、图像、语音、表格数据、蛋白质序列、有机分子和强化学习等，这些例子的逐步形成使得使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟。例如， GPT-3与GPT-2的15亿参数相比，GPT-3具有1750亿个参数，允许上下文学习，在上下文学习中，只需向下游任务提供提示，语言模型就可以适应下游有务， 这是产生的一种有兴属性。

Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、更易于并行化，所需训练时间明显更少

GPT-1模型基于Transformer解除了顺序关联和依赖性的前提，采用生成式模型方式，重点考虑了从原始文本中有效学习的能力，这对于减轻自然语言处理中对监督学习的依赖至关重要

GPT（Generative Pre-training Transformer）于2018年6月由OpenAI首次提出。 GPT模型考虑到在自然语言理解中有大量不同的任务，尽管大量的未标记文本语料库非常丰富，但用于学习这些特定任务的标记数据却很少，这使得经过区分训练的模型很难充分执行。 同时，大多数深度学习方法需要大量手动标记的数据，这限制了它们在许多缺少注释资源的领域的适用性。

在考虑以上局限性的前提下， GPT论文中证明，通过对未标记文本的不同语料库进行语言模型的生成性预训练 ，然后对每个特定任务 进行区分性微调，可以实现这些任务上的巨大收益。和之前方法不同，GPT在微调期间使用任务感知输入转换，以实现有效的传输，同时对模型架构的更改最小。

GPT-1模型的核心手段是预训练，GPT相比于Transformer等 模型进行了显著简化，相比于Transformer，GPT训练了一个12层仅decoder的解码器 。相比于Google的BERT，GPT仅采用上文 预测单词。

注： ChatGPT的表现更贴近人类意图，部分因为一开始GPT是基于上文的预测，这更贴近人类的话语模式，因为人类言语无法基于将来的话来做分析。

GPT-2在GPT-1的基础上进行诸多改进，实现执行任务多样性，开始学习在不需要明确监督的情况下执行数量惊人的任务。

在GPT-2阶段，OpenAI去掉了GPT-1阶段的有监督微调，成为无监督模型。大模型GPT-2是一个1.5B参数的Transformer，在其相关论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。模型中，Transfomer堆叠至48层。 GPT-2的数据集增加到8 million的网页、大小40GB的文本。

机器学习系统通过使用大型数据集、高容量模型和监督学习的组合，在训练任务方 面表现出色，然而这些系统较为脆弱，对数据分布和任务规范的轻微变化非常敏感，因而使得AI表现更像狭义专家，并非通才。

GPT-2转向更通用的系统，使其可以执行许多任务，最终无需为每个任务手动创建和标记训练数据集。

GPT-2聚焦在无监督、 zero-shot（零次学习）上，然而GPT-2训练结果也有不达预期之处，所存在的问题也亟待优化。

在GPT-2阶段，尽管体系结构是任务无关的，但仍然需要任务特定的数据集和任务特定的微调：要在所需任务上实现强大的性能，通常需要对特定于该任务的数千到数十万个示例的数据集进行微调。

GPT-3是一个具有1750亿个参数的自回归语言模型，比之前的任何非稀疏语言模型多10倍。对于所有任务,GPT-3都是在没有任何梯度更新或微调的情况下应用的，仅通过与模型的文本交互来指定任务和few-shot演示。

GPT-3在许多NLP数据集上都有很强的性能，包括翻译、问题解答和完形填空任务，以及一些需要动态推理或领域适应的任务，如解译单词、在句子中使用一个新单词或执行三位数算术。 GPT-3可以生成新闻文章样本,并且已很难将其与人类撰写的文章区分开来。

当前openAi开源得最新模型就位GPT3，Git地址为：https://github.com/openai/gpt-3

InstructGPT使用来自人类反馈的强化学习方案RLHF，通过对大语言模型进行微调，从而能够在参数减少的情况下，实现优于GPT-3的功能

InstructGPT提出的背景：使语言模型更大并不意味着它们能够更好地遵循用户的意图，例如大型语言模型可以生成不真实、有毒或对 用户毫无帮助的输出，即这些模型与其用户不一致。另外， GPT-3虽然选择了少样本学习和继续坚持了GPT-2的无监督学 习，但基于few-shot的效果，其稍逊于监督微调的方式。

基于以上背景，OpenAI在GPT-3基础上根据人类反馈的强化学习方案RHLF，训练出奖励模型去训练学习模型（即：用AI训练AI的思路）

InstructGPT的训练步骤为：对GPT-3监督微调——训练奖励模型——增强学习优化SFT(第二、第三步可以迭代循环多次)

InstructGPT与ChatGPT属于相同代际的模型，ChatGPT只是在InstructGPT的基础上增加了Chat属性，并且开放了公众测试。ChatGPT提升了理解人类思维的准确性的原因在于利用了基于人类反馈数据的系统进行模型训练

注：根据官网介绍， GhatGPT也是基于InstructGPT构建，因而可以从InstructGPT来理解ChatGPT利用人类意图来增强模型效果

机器学习(ML)中的计算历史分为三个时代：前深度学习时代、深度学习时代和大规模时代，在大规模时代，训练高级ML系统的需求快速增长，计算、数据和算法的进步是指导现代机器学习进步的三个基本因素。在2010年之前，训练计算的增长符合摩尔定律，大约每20个 月翻一番。自2010年代早期深度学习问世以来，训练计算的规模已经加快，大约每6个月翻一番。 2015年末，随着公 司开发大规模ML模型，训练计算需求增加10至100倍，出现了一种新趋势——训练高级ML系统的需求快速增长。

2015-2016年左右，出现了大规模模型的新趋势。这一新趋势始于2015年末的AlphaGo ，并持续至今,ChatGPT大模型架构也是机器学习发展到第三阶段的必然产物。