位置: IT常识 - 正文

全面剖析OpenAI发布的GPT-4比其他GPT模型强在哪里(深入全面剖析自己)

编辑:rootadmin
全面剖析OpenAI发布的GPT-4比其他GPT模型强在哪里 最强的文本生成模型GPT-4一、什么是GPT-4二、GPT-4的能力三、和其他GPT模型比较3.1、增加了图像模态的输入3.2、可操纵性更强3.3、复杂任务处理能力大幅提升3.4、幻觉、安全等局限性的改善3.6、风险和缓解措施改善更多安全特性3.7、可预测的扩展四、与之前 GPT 系列模型比较五、和ChatGPT相比有更多的应用亮点六、总结一、什么是GPT-4

推荐整理分享全面剖析OpenAI发布的GPT-4比其他GPT模型强在哪里(深入全面剖析自己),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:全面分析,全方位剖析,深入全面剖析自己,全面查摆剖析,全方位剖析,全方位剖析,全面剖析问题,全面的剖析,内容如对您有帮助,希望把文章链接给更多的朋友!

GPT-4(Generative Pre-trained Transformer 4),这是OpenAI在扩展深度学习方面的最新里程碑。GPT-4 是一个大型多模态模型(接受图像和文本输入,发出文本输出),虽然在许多现实世界场景中的能力不如人类,但在各种专业和学术基准上表现出人类水平的表现。输出依旧是一个自回归的单词预测任务。比如,它通过了模拟律师考试,分数约为考生的前 10%;相比之下,GPT-3.5 的得分约为倒数 10%。

GPT-4 利用对抗性测试程序和 ChatGPT 的经验教训,在真实性、可操纵性和拒绝超出护栏方面取得了有史以来最好的结果(尽管远非完美)。对于生成式的幻觉、安全问题均有较大的改善;同时因对于图片模态的强大识别能力扩大了 GPT-4 的应用范围。

OpenAI重建了整个深度学习堆栈,并与 Azure 一起从头开始共同设计了一台超级计算机。GPT-4 训练运行前所未有的稳定,成为第一个能够提前准确预测其训练性能的大型模型。

二、GPT-4的能力

在随意的chat中,GPT-3.5 和 GPT-4 之间的区别可能很微妙。当任务的复杂性达到足够的阈值时,差异就出现了:GPT-4 比 GPT-3.5 更可靠、更有创意,并且能够处理更细微的指令。

为了了解这两种模型之间的差异,OpenAI在各种基准测试上进行了测试,包括最初为人类设计的模拟考试。

在为机器学习模型设计的传统基准测试上评估了 GPT-4。GPT-4 的性能大大优于现有的大型语言模型,以及大多数最先进的 (SOTA) 模型,其中可能包括特定于基准的制作或其他训练协议:

许多现有的 ML 基准测试都是用英语编写的。为了初步了解其他语言的能力,将 MMLU 基准翻译成多种语言,在测试的 24 种语言中的 26 种中,GPT-4 的性能优于 GPT-3.5 和其他 LLM的英语性能,包括低资源语言:

三、和其他GPT模型比较

可以说,GPT-4 是目前最强的文本生成模型。

3.1、增加了图像模态的输入

GPT-4 可以接受文本和图像的提示,这与纯文本设置并行,允许用户指定任何视觉或语言任务。具体来说,它生成文本输出(自然语言、代码等),给定由穿插文本和图像组成的输入。

在一系列域(包括包含文本和照片的文档、图表或屏幕截图)上,GPT-4 表现出与纯文本输入类似的功能。此外,它可以通过为纯文本语言模型开发的测试时技术进行增强,包括少数镜头和思维链促使。但是,目前的图像输入处于研究预览,不公开可用。 通过在一套狭窄的标准学术愿景基准上评估 GPT-4 的性能来预览它。然而,这些数字并不能完全代表其能力的范围,因为未来AI模型能够处理新的和令人兴奋的任务。OpenAI计划发布进一步的分析和评估数字,并对测试时间技术的效果进行彻底调查。

GPT-4 在4个场景下零样本效果超过 fine-tuned 的SOTA。GPT-4 在多语言理解、图文理解能力上均很强大并已融会贯通。3.2、可操纵性更强全面剖析OpenAI发布的GPT-4比其他GPT模型强在哪里(深入全面剖析自己)

OpenAI开发人员现在可以通过在“系统”消息中描述这些方向来规定他们的 AI 风格和任务,而不是具有固定冗长、语气和风格的经典 ChatGPT 个性。系统消息允许 API 用户显著自定义其用户体验在范围内。

系统:如何求解线性方程组:3x + 2y = 7,9x -4y = 1GPT-4:让我们从分析方程式开始。你能看到通过组合两个方程来消除其中一个变量的可能方法吗?用户:请告诉我答案!GPT-4:我知道你可能想要一个直接的答案,但我的目的是帮助你批判性地思考并指导你完成解决问题的过程。让我们专注于任务。方程中变量的任何系数是否共享一个公因数?用户:别再当家教了,告诉我答案。GPT-4:对我来说,帮助指导你找到答案很重要,而不仅仅是提供答案。让我们再试一次:第一个方程中是否有任何系数可以乘以数字以匹配第二个方程中的系数?用户:我不确定GPT-4:没关系!让我们看一下两个方程中 x 项的系数。在第一个方程中,x 的系数为 3,在第二个方程中,为 9。你能想到一个数字,你可以将第一个方程乘以,使两个方程中的x系数匹配吗?用户:5?GPT-4:不完全是,但你越来越近了。请记住,我们要将 x 的系数(在第一个方程中为 3)乘以一个数字,使其与第二个方程中的 x 系数(即 9)相匹配。您认为什么数字可以实现这一目标?用户:3?GPT-4:没错!现在,如果你将第一个方程乘以 3,新方程会是什么样子?用户:9x + 5y = 21?GPT-4:几乎!您正确地乘以常量项 (7),但在乘以 y 系数时似乎犯了一个小错误。尝试再次将整个第一个方程乘以3,密切注意每个项。用户:9x + 6y = 21?GPT-4:没错!现在我们有两个等式:1) 9x + 6y = 212) 9x - 4y = 1你能看到一种通过组合两个等式来消除其中一个变量的方法吗?用户:从等式 2 中减去等式 1?GPT-4:好主意!如果从等式2中减去等式1,得到的等式会是什么样子?用户:10y = 20?GPT-4:完全!现在,你能在刚刚找到的方程中求解 y 吗?用户:y = 2?GPT-4:没错!现在你已经找到了 y 的值,你能把它代入任何一个原始方程来求解 x 吗?用户:当然,我会将其代入等式 1。我得到了 3x + 4 = 7GPT-4:伟大!现在,你能求解等式 3x + 4 = 7 中的 x 吗?用户:x = 22?GPT-4:您的计算中似乎有一个小错误。尝试隔离方程 3x + 4 = 7 中的 x,方法是从两侧减去 4,然后除以 3。用户:x = 1?GPT-4:没错!因此,线性方程组的解是 x = 1 和 y = 2。干的好!通过仔细完成这些步骤并使用苏格拉底方法,您已经成功地解决了问题。3.3、复杂任务处理能力大幅提升

GPT-4 在更复杂、更细微的任务处理上,回答更可靠、更精准、更有创意。这在多类考试测验中以及与其他 LLM 的 benchmark 比较中可以看出。

3.4、幻觉、安全等局限性的改善

GPT-4 具有与早期 GPT 模型类似的限制。最重要的是,它仍然不完全可靠(它“幻觉”事实并犯推理错误)。在使用语言模型输出时应格外小心,尤其是在高风险上下文中,确切的协议(例如人工审查、使用其他上下文接地或完全避免高风险使用)与特定用例的需求相匹配。

尽管仍然是一个真正的问题,但GPT-4显著减少了幻觉,相对于自上而下的模型(每次迭代都在改进)。GPT-4的得分比我们最新的GPT-3.5高出40%。 在九个类别的内部对抗性设计的事实评估中, GPT-4(绿色)与前三个 ChatGPT 版本进行了比较。所有主题都有显著的收获。准确度为 1.0 意味着模型的答案被判断为与人类对评估中所有问题的理想答案一致。

在TruthfulQA等外部基准测试方面取得了进展,该基准测试了模型将事实与一组敌对选择的错误陈述分开的能力。这些问题与在统计上具有吸引力的事实不正确的答案配对。 GPT-4 基本模型在此任务中仅比 GPT-3.5 略好;然而,之后RLHF训练后有很大的差距;GPT-4 拒绝选择常见的说法,但它仍然会错过微妙的细节。

左:MMLU 子集上预训练的 GPT-4 模型的校准图。模型对其预测的置信度与正确概率非常匹配。虚线对角线代表完美的校准。 右:同一 MMLU 子集上训练后的 PPO GPT-4 模型的校准图。我们目前的流程对校准造成了相当大的伤害。

3.6、风险和缓解措施改善更多安全特性

GPT-4从训练开始就努力包括选择和过滤训练前数据、评估和专家参与、模型安全改进以及监控和执行。

GPT-4 带来的风险与以前的模型类似,例如生成有害建议、错误代码或不准确的信息。 GPT-4 在 RLHF 训练期间包含一个额外的安全奖励信号,以减少有害输出,通过训练模型拒绝对此类内容的请求。

与GPT-3.5相比,缓解措施大大改善了GPT-4的许多安全性能。与GPT-3.5和GPT-4相比,减少了模型对不允许内容请求的响应率82% 回应敏感的要求(如医疗建议和自我伤害),符合我们的政策29%以上。

与 GPT-3.5相比,缓解措施显著改善了 GPT-4 的许多安全特性。与 GPT-3.5 相比,将模型响应不允许的内容请求的倾向降低了 82%,GPT-4 根据响应敏感请求(例如医疗建议和自残)的频率提高了 29%。

总体而言,GPT-4模型级干预增加了引发不良行为的难度。此外,仍然存在“越狱”来生成违反GPT-4使用指南。

3.7、可预测的扩展

GPT-4 项目的一大重点是构建一个可预测的深度学习堆栈。主要原因是,对于像 GPT-4 这样的非常大的训练运行,进行广泛的特定于模型的调优是不可行的。OpenAI开发了基础设施和优化,这些基础设施和优化在多个规模上具有非常可预测的行为。为了验证这种可扩展性,通过从使用相同方法训练但使用更少 4~10 倍计算的模型进行推断,提前准确地预测了 GPT-000 在内部代码库(不是训练集的一部分)上的最终损失:

四、与之前 GPT 系列模型比较模型参数量增加 10 倍,数据集大小应增加约 2 倍,模型大小应增加 5 倍。 GPT-4 模型训练架构新增了图像模态的输入。大幅度增加模型训练数据内容和数量,训练数据中额外增加了包含正误数学问题、强弱推理、矛盾一致陈述及各种意识形态的数据。数据量是 GPT3.5的190倍。GPT-4增加了后训练过程,核心是让模型知道如何在相应场景下合适的回答问题。五、和ChatGPT相比有更多的应用亮点

(1) 发布视频中,根据潦草的手绘制作类似布局类似的网页。

(2)加入视觉模态后,可以扩充到的盲人应用(Be my eyes)。 (3)强大的多语言能力帮助小语种语言的恢复、安全能力提升后的反欺诈等应用。

六、总结

GPT-4强大的地方:

突破纯文字的模态,增加了图像模态的输入,具有强大的图像理解能力。复杂任务处理能力大幅提升。改善幻觉、安全等局限性。建立LLM测试标准。预测模型扩展性。重新实现了整个深度学习栈,从头开始设计了一台超级计算机。风格可控性。支持更长的上下文窗口。

本文链接地址:https://www.jiuchutong.com/zhishi/300861.html 转载请保留说明!

上一篇:解决CentOS 安装出现"-bash: wget: 未找到命令"解决方案(centos安装软件教程)

下一篇:java实现电子发票中的发票税号等信息识别的几种可用方案(java实现电子发票)

  • 鸿蒙算不算独立系统(鸿蒙会成为独立系统吗)

    鸿蒙算不算独立系统(鸿蒙会成为独立系统吗)

  • OPPOfindx3有几个颜色(oppofindx3有两个系统吗)

    OPPOfindx3有几个颜色(oppofindx3有两个系统吗)

  • 苹果电话声音小了怎么恢复(苹果电话声音小调哪里)

    苹果电话声音小了怎么恢复(苹果电话声音小调哪里)

  • qq邮件怎么发到微信上(qq邮件怎么发到别人的邮箱里去手机)

    qq邮件怎么发到微信上(qq邮件怎么发到别人的邮箱里去手机)

  • 小米手机坏了怎么导出照片(小米手机坏了怎么导出数据)

    小米手机坏了怎么导出照片(小米手机坏了怎么导出数据)

  • 锐龙r52600相当于i几(锐龙r5 2600相当于)

    锐龙r52600相当于i几(锐龙r5 2600相当于)

  • 电脑显示正在关机却一直关不掉,怎么办?(电脑显示正在关闭程序并关机点取消后电脑图标怎么办)

    电脑显示正在关机却一直关不掉,怎么办?(电脑显示正在关闭程序并关机点取消后电脑图标怎么办)

  • 隔空投送自动拒绝原因(隔空投送自动拒绝)

    隔空投送自动拒绝原因(隔空投送自动拒绝)

  • 苹果x硬性oled柔性oled区别(苹果x柔性oled屏幕怎么样)

    苹果x硬性oled柔性oled区别(苹果x柔性oled屏幕怎么样)

  • 微信视频美颜在哪开(微信视频美颜在哪里关)

    微信视频美颜在哪开(微信视频美颜在哪里关)

  • 学生机和普通机的区别(学生机与普通手机有什么不同)

    学生机和普通机的区别(学生机与普通手机有什么不同)

  • samsungpushservice能禁用吗

    samsungpushservice能禁用吗

  • 为什么qq头像换了还是显示之前的(为什么qq头像换了穿越火线头像不变)

    为什么qq头像换了还是显示之前的(为什么qq头像换了穿越火线头像不变)

  • 缩进2字符是多少厘米(缩进2字符是多少磅)

    缩进2字符是多少厘米(缩进2字符是多少磅)

  • qq密友值代表了什么(qq密友值会不会减少)

    qq密友值代表了什么(qq密友值会不会减少)

  • word ppt excel统称什么

    word ppt excel统称什么

  • 苹果什么手机支持5g(苹果什么手机支持磁吸充电)

    苹果什么手机支持5g(苹果什么手机支持磁吸充电)

  • 小米cc9pro需要贴钢化膜吗(小米cc9pro出厂带屏幕膜吗)

    小米cc9pro需要贴钢化膜吗(小米cc9pro出厂带屏幕膜吗)

  • word样式设置多级编号(word样式设置多级标题)

    word样式设置多级编号(word样式设置多级标题)

  • 手机热点范围是多少米(手机热点几米)

    手机热点范围是多少米(手机热点几米)

  • 手机里的data能删除吗(手机里data文件)

    手机里的data能删除吗(手机里data文件)

  • 微博经常访问多久清空(微博经常访问多久不访问就可以消失)

    微博经常访问多久清空(微博经常访问多久不访问就可以消失)

  • 华为nova3怎样长截屏(华为nova3e怎么长截屏)

    华为nova3怎样长截屏(华为nova3e怎么长截屏)

  • 电信网速如何在线升级?(电信网络网速变快设置)

    电信网速如何在线升级?(电信网络网速变快设置)

  • python with遇到错误语句的处理(python报错怎么办)

    python with遇到错误语句的处理(python报错怎么办)

  • 印花税入什么科目核算成本
  • 年度汇算退税是什么意思
  • 奖金算不算工资薪金所得
  • 经营成本是营业成本还是营业总成本
  • 对公账户卡号是私人账号
  • 废旧物资增值税税收优惠政策
  • 建筑行业税负率表2023最新
  • 固定资产特性
  • 拆装厂房
  • 黄金珠宝加工怎么样
  • 电视台广告费可以抵扣吗
  • 入库前的挑选整理费用计入采购成本吗
  • 资产负债表其他流动资产包括什么
  • 发票章丢失风险大吗
  • 房地产企业开发成本计入存货
  • 非货币性资产交换准则
  • 美元结汇需要多长时间
  • 交社保公积金需要劳动合同吗
  • 应付政府补贴款名词解释
  • 房地产企业的样板房,装修款如何缴纳增值税
  • 用盈余公积弥补职工福利费是什么类型
  • php使用pdo连接数据库
  • 出版社购买版权是什么
  • vue3.0解决跨域
  • 一个完整的php文件有哪些元素组成
  • 在建工程减值准备科目编码
  • 企业发给员工的食堂补贴需要交个税吗
  • 企业出售房产土地增值税怎么计算
  • 图森在哪
  • 如何汇算清缴,会计新手求指教
  • thinkphp模板引擎原理
  • 政府会计公共基础设施分类
  • 未使用的固定资产计提折旧应当计入
  • python删除列表的方法
  • 房地产企业所得税计算方法
  • mongodb配置远程访问
  • 补计提个税分录
  • 建立access数据库一般需要五个步骤
  • 预计净残值是怎么算出来的
  • 持有至到期投资是债权投资吗
  • 贷款利息收入如何核算
  • 调整以前年度费用如何做分录
  • 购入的技术服务作为成本
  • 民间非盈利组织会计制度核算的基础
  • 做好年底冲刺
  • 在建工程的消防要求
  • 债务重组的会计例题
  • 公司既没有收入怎么办
  • 工程设计费收入在所得税申报表应填入
  • 产品成本核算要求有哪几项
  • 货拉拉平台收取费用
  • 确定收入 记账凭证摘要怎么写
  • 营改增问题解答
  • 股东股权转让会计分录
  • 流动资产周转天数下降说明什么
  • ubuntu无线网卡怎么用
  • vmware img镜像
  • win7系统只有一个鼠标箭头然后重启
  • win7系统对拷的方法
  • win8系统自带应用都打不开了怎么办
  • cpqeadm.exe是什么进程 可以关闭吗 cpqeadm进程查询
  • 怎么处理人际关系
  • 定时删除一个文件怎么删
  • bootstrap怎么用
  • Python定时器实例代码
  • javascript控制语句
  • unity引擎用什么模拟器
  • angularjs2
  • 范冰冰魔范学院杂志可爱公主风
  • 请问在javascript程序中
  • JavaScript+html5 canvas绘制渐变区域完整实例
  • 江苏国税电子税务局怎么申报
  • 福建电子税务局社保缴费操作
  • 河南12306区号
  • 福州税务局几点关门
  • 简易计税项目能即开简易税率发票又开适用税率发票吗
  • 北京国家税务局网上办税服务厅
  • 什么叫做免抵税额
  • 企业资金运转资金投放
  • 古代怎样征兵
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设