位置: IT常识 - 正文

OpenAI GPT-3模型详解(gpt3 模型大小)

编辑:rootadmin
OpenAI GPT-3模型详解 OpenAI GPT-3模型详解

推荐整理分享OpenAI GPT-3模型详解(gpt3 模型大小),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:gpt3介绍,gpt-3开源,gpt-3开源,gpt3模型结构,gpt3模型结构,gpt3模型数据集,gpt3 模型大小,gpt3 模型大小,内容如对您有帮助,希望把文章链接给更多的朋友!

针对文本生成和代码生成这两大类场景,OpenAPI分别提供了GPT-3和Codex模型,

模型描述GPT-3一组能够理解和生成自然语言的模型Codex一组可以理解和生成代码的模型,包括将自然语言转换为代码

本文将为大家详细介绍这两个模型。

文章目录模型概述GPT-3DavinciCurieBabbageAdaCodexAPI调用Python库Node.js库参数说明总结模型概述GPT-3

GPT-3模型可以理解并生成自然语言。OpenAI根据任务场景和功能强度提供了四种可选子模型。其中Davinci g功能最强大,而Ada 响应速度最快。

模型名称描述最大tokens训练数据text-davinci-003最强大的GPT-3模型。具有更高的输出质量、更长的输出内容和更好的语言理解能力。还支持文本插入功能。4,000 tokens截至2021年6月text-curie-001功能强大,但比Davinci速度更快,价格也更便宜。2,048 tokens截至2019年10月text-babbage-001能够完成简单任务,速度快,成本低。2,048 tokens截至2019年10月text-ada-001能够完成非常简单的任务,通常是GPT-3系列中速度最快的,成本最低的。2,048 tokens截至2019年10月

尽管通常来讲Davinci最强大,但其他型号的模型在某些特定场景和任务下,具有明显的速度或成本优势。例如,Curie可以执行许多与Davinci相同的任务,但速度更快,成本仅为Davinci的1/10。

建议在实验时使用Davinci,因为它产生的结果最好。一旦实验完成,建议尝试一下其他模型的效果,看看是否能以更低的延迟或成本获得同样或近似的效果。同时还可以通过在特定任务上对其他模型进行微调来提高它们的性能。

Davinci

Davinci是GPT-3系列中最强大的模型,可以在很少指引的情况下完成其他模型能完成的任何任务。对于需要大量理解内容的应用,如针对特定受众的摘要生成和创造性内容生成,Davinci的产生效果最佳好。当然,这些优势需要更多的计算资源,因此Davinci每次API调用的成本更高,而且速度也不如其他模型。

Davinci的另一个亮点是理解文本的意图。Davinci非常擅长解决各种逻辑问题,并解释其中角色的动机。Davinci已经能够解决一些涉及因果关系的最具挑战性的人工智能问题。

擅长领域:复杂意图理解、因果关系发现及理解、针对性摘要总结

Curie

Curie也非常强大,同时速度也非常快。虽然Davinci在分析复杂文本时更具优势,但Curie在情感分类和总结摘要等许多细致任务上表现出色。Curie还非常擅长回答问题,因此非常适合作通用服务聊天机器人。

擅长领域:翻译、摘要、复杂分类、文本情感

Babbage

Babbage可以执行分类等简单任务。当涉及到语义搜索时,它也可以很好地对文档与搜索查询的匹配程度进行排序。

擅长领域:文本分类、语义搜索分类

Ada

Ada通常是速度最快的模型,可以执行解析文本、地址更正和粗放的分类任务。可以通过提供更多上下文来提升Ada的表现。

擅长:文本解析、简单分类、地址更正、关键字提取

OpenAI GPT-3模型详解(gpt3 模型大小)

⚠注意:高级模型都能完成低级模型能完成的任务,例如Ada能完成的工作,Curie和Davinci都能完成。

OpenAI模型是非确定性的,这意味着相同的输入可以产生不同的输出。将temperature 设置为0将使输出大部分具有确定性,但仍可能存在少量可变性。

Codex

Codex模型是GPT-3模型的派生模型,可以理解和生成代码。训练数据包含自然语言和来自GitHub的数十亿行公共代码。

Codex最擅长Python,并精通十几种语言,包括JavaScript、Go、Perl、PHP、Ruby、Swift、TypeScript、SQL,甚至Shell。

Open AI目前提供2种子模型:

模型名称描述最大请求训练数据code-davinci-002最强大的Codex模型。特别擅长将自然语言转译成代码。除了完成代码外,还支持在代码补全。8,000 tokens截至2021年6月code-cushman-001几乎与Davinci Codex一样强大,但速度稍快。这种速度优势可使其更适合于实时应用。2,048 tokens

Codex目前尚处在公测阶段。公测期间免费调用,但是速度会受限制。推荐直接用最强的code-davinci-002。

API调用

OpenAI API调用非常简单,官方提供Python和Node.js库。

Python库

Python库可以通过下面命令安装:

$ pip install openai

安装后即可在代码中通过导入openai库来调用各功能接口

import openaiopenai.api_key = "YOUR_API_KEY"response = openai.Completion.create( model="text-davinci-003", prompt="Hello", temperature=0, max_tokens=16)

这里需要注意的是:调用接口需要先绑定OpenAI API Key。该API Key可以在OpenAI后台申请,点击右上角头像,在弹出菜单中点击”View API keys“。在API Keys管理界面可以创建或删除API Keys。

Node.js库

Node.js库的安装和使用步骤与Python库类似,在项目中运行

$ npm install openai

即可向项目中安装并添加openai库。安装完成后,即可在代码中调用

const { Configuration, OpenAIApi } = require("openai");const configuration = new Configuration({ apiKey: 'YOUR_API_KEY',});const openai = new OpenAIApi(configuration);const response = await openai.createCompletion({ model: "text-davinci-003", prompt: "Hello", temperature: 0, max_tokens: 16,});

社区提供了其他所有主流编程语言的库,大家可以根据自己使用的语言,在这里查找。

参数说明

用API的一大好处是,API提供了众多参数,可以让我们控制输出效果。下面是GPT-3和Codex模型支持的参数:

参数名类型默认值说明modelstring模型名称(详见模型综述)promptstring输入的提示suffixstringnull文本生成后在文末插入的后缀max_tokensint16文本生成时要生成的最大token数。提示的token数加上max_tokens不能超过模型的上下文长度。大多数模型的上下文长度为2048个token(最新模型支持4096 tokens)temperaturefloat1采样温度。值越高意味着模型承担的风险越大。对于需要创意的场景,可以尝试0.9,对于答案明确的场景,建议用0(argmax采样)建议不要与top_p同时改变。详见《ChatGPT模型采样算法详解》top_pfloat1核采样(温度采样的另一种方式),其中模型考虑具有top_p概率质量的token的结果。因此,0.1意味着只考虑包含最高10%概率质量的token建议不要与temperature同时改变。详见《ChatGPT模型采样算法详解》nint1每个提示要生成多少个答案streambooleanfalse是否返回流传输进度。如果设置,token将在可用时以纯数据服务器端推送事件发送,流以data:[DONE]消息终止。logprobsintnul如果传值(最大值5)则表示包括logprobs个最可能的token以及所选令牌的对数概率。例如,如果logprobs为5,则API将返回包含5个最可能Token的列表。echobooleanfalse是否回传提示stopstringnull最多4个序列,遇到stopAPI将停止生成。返回的文本不包含停止序列。presence_penaltyfloat0数值介于-2.0和2.0之间。正值将根据到目前为止新token是否出现在文本中来惩罚新token,从而增加模型谈论新主题的可能性。详见 《ChatGPT模型中的惩罚机制》frequency_penaltyfloat0数值介于-2.0和2.0之间。正值根据文本中新token已经出现的频率惩罚新token,从而降低模型逐字重复同一行的可能性。详见 《ChatGPT模型中的惩罚机制》best_ofint1在服务端生成best_of个完成,并返回“最佳”(每个token的log概率最高的一条)。结果无法流式传输。与n一起使用时,best_of控制候选回应的数量,n指定要返回的数量–best_of必须大于等于n。⚠注意:由于此参数生成许多回应,因此会快速消耗token配额。小心使用并确保对max_tokens和stop进行了合理的设置。logit_biasmapnull修改回应种出现指定token的可能性。接受一个json对象,该对象将token(由GPT tokenizer的token ID指定)映射到-100到100之间的相关偏差值。可以用 tokenizer tool 将文本转换成token ID。在数学上,在采样之前,将偏差添加到模型生成的逻辑中。每个模型的确切效果会有所不同,但介于-1和1之间的值应该会降低或增加选择的可能性;像-100或100这样的值应该会导致相关token的禁用或必现。例如,可以传递{"50256": -100}以防止生成`<userstringnull代表终端用户的唯一标识符,OpenAI用来监控和检测滥用。

理解上述参数对文本生成任务的影响至关重要。其中最重要的一组参数是temperature、top_p、presence_penalty、frequency_penalty,详见《ChatGPT模型采样算法详解》 和 《ChatGPT模型中的惩罚机制》

总结

虽然GPT-3模型没有ChatGPT强大,但使用API有如下好处:

优点

无需注册、直接使用有参数可以控制输出比ChatGPT稳定速度比ChatGPT快一点可以整合到其他系统中

缺点

生成质量不如ChatGPT有限的上下文支持会产生费用
本文链接地址:https://www.jiuchutong.com/zhishi/300351.html 转载请保留说明!

上一篇:Pytorch深度学习实战3-5:详解计算图与自动微分机(附实例)

下一篇:【Spring Boot】SpringBoot设计了哪些可拓展的机制?(spring boot s)

  • 为什么别人搜不到我的qq(为什么别人搜不到我的蓝牙耳机)

    为什么别人搜不到我的qq(为什么别人搜不到我的蓝牙耳机)

  • 把好友删了再加回来他知道吗(把好友删了再加回来怎么解释)

    把好友删了再加回来他知道吗(把好友删了再加回来怎么解释)

  • 淘宝库存显示是真的吗(淘宝 显示库存)

    淘宝库存显示是真的吗(淘宝 显示库存)

  • se支持无线充电吗(se支持无线充电功能吗)

    se支持无线充电吗(se支持无线充电功能吗)

  • 电脑图片怎么重命名(电脑图片怎么重名名)

    电脑图片怎么重命名(电脑图片怎么重名名)

  • soul隐身发瞬间好友能看到吗(soul隐身发瞬间怎么发)

    soul隐身发瞬间好友能看到吗(soul隐身发瞬间怎么发)

  • 公众号图片怎么排版(公众号图片怎么删除)

    公众号图片怎么排版(公众号图片怎么删除)

  • 华为hms可以卸载吗(华为hms卸载对手机有影响吗)

    华为hms可以卸载吗(华为hms卸载对手机有影响吗)

  • 打印机授权失败怎么回事(打印机授权失败什么原因)

    打印机授权失败怎么回事(打印机授权失败什么原因)

  • win10卡顿嘟嘟嘟响声(电脑突然卡了然后嘟嘟嘟嘟嘟嘟)

    win10卡顿嘟嘟嘟响声(电脑突然卡了然后嘟嘟嘟嘟嘟嘟)

  • vivox30pro有呼吸灯吗(vivo3有没有呼吸灯)

    vivox30pro有呼吸灯吗(vivo3有没有呼吸灯)

  • iphone反复重启电量百分之一(iphone频繁重启是什么原因)

    iphone反复重启电量百分之一(iphone频繁重启是什么原因)

  • 润工作闪退怎么回事(闪退解决工具)

    润工作闪退怎么回事(闪退解决工具)

  • 苹果x怎么锁屏(苹果x怎么锁屏锁不了)

    苹果x怎么锁屏(苹果x怎么锁屏锁不了)

  • 有哪些视频软件可以看(腾讯旗下的软件有哪些视频软件)

    有哪些视频软件可以看(腾讯旗下的软件有哪些视频软件)

  • dbms包括的主要程序有哪些(dbms的主要作用)

    dbms包括的主要程序有哪些(dbms的主要作用)

  • iphone怎么显示airpods电量(IPhone怎么显示海拔信息)

    iphone怎么显示airpods电量(IPhone怎么显示海拔信息)

  • hdf用什么软件打开(hdf文件用什么软件可以打开)

    hdf用什么软件打开(hdf文件用什么软件可以打开)

  • 抖音删除评论别人还能看见吗(抖音删除评论别人能看到吗)

    抖音删除评论别人还能看见吗(抖音删除评论别人能看到吗)

  • world里面如何设置文字对齐(word1.2怎么设置)

    world里面如何设置文字对齐(word1.2怎么设置)

  • 设置情侣挂件怎么取消(qq情侣挂件别人能看到吗)

    设置情侣挂件怎么取消(qq情侣挂件别人能看到吗)

  • 趣步手机号注销了怎么办(趣步手机号码已注销如何恢复)

    趣步手机号注销了怎么办(趣步手机号码已注销如何恢复)

  • 抖音上私信可以撤销吗(抖音上私信可以说微信号码)

    抖音上私信可以撤销吗(抖音上私信可以说微信号码)

  • 爱奇艺那里改青春版(爱奇艺怎么切换青春版和经典版)

    爱奇艺那里改青春版(爱奇艺怎么切换青春版和经典版)

  • 为什么手机打不出去电话(为什么手机打不出电话显示无法访问移动网络)

    为什么手机打不出去电话(为什么手机打不出电话显示无法访问移动网络)

  • oppor11s电池容量多少(oppor11s电池容量在哪看)

    oppor11s电池容量多少(oppor11s电池容量在哪看)

  • 手机怎么设置关机状态(手机怎么设置关机)

    手机怎么设置关机状态(手机怎么设置关机)

  • 荣耀20和p30对比(荣耀20对比p30哪个更值得买)

    荣耀20和p30对比(荣耀20对比p30哪个更值得买)

  • datedif是什么函数(datedif函数的用法)

    datedif是什么函数(datedif函数的用法)

  • React 框架(react框架和vue哪个用的人多)

    React 框架(react框架和vue哪个用的人多)

  • ifcfg命令  配置网络接口(ifconfig命令配置地址)

    ifcfg命令 配置网络接口(ifconfig命令配置地址)

  • ps黑白快捷键(ps黑白怎么调)

    ps黑白快捷键(ps黑白怎么调)

  • 进项税额转出怎么操作
  • 增值税普通
  • 预算会计无偿调拨净资产
  • 冲回存货跌价准备所得税是调增还是调减
  • 收到投资款需要缴纳什么税
  • 民办幼儿园提供什么服务
  • 房地产公司机构
  • 财政部颁布的具体准则
  • 车辆购置税退税流程
  • 上交的项目评审费如何做财务处理呢?
  • 开票交税当月不确认收入如何做账?
  • 法人投资转入旧机器无发票怎么入账?
  • 增值税专用发票怎么开
  • 委托加工代扣代缴的消费税如何计算
  • 营改增后转让土地使用权怎么计算增值税
  • 有子公司一定要交社保吗
  • 合作经营收入分成发票税务名称怎么填
  • 固废处理计入什么会计科
  • 关于设备延期交付说明
  • 收到银行本票的会计分录怎么写
  • 销售商品会计分录怎么写
  • 企业所得税调增调减怎么理解
  • 施工企业内部往来核算方法包括( )
  • 研发费用没有发票可以加计扣除吗
  • 赞助费支出怎样记账
  • linux shell语句
  • 支付宝账单有什么作用
  • linux检测
  • 高薪技术企业研发费用标准
  • 企业自建房需要交哪些税
  • 混合债务工具
  • 滞纳金和罚金计入哪个会计科目
  • PHP:zip_entry_filesize()的用法_Zip函数
  • 销售使用过的机器设备如何缴纳增值税
  • 办公楼改造方案
  • 高德地图api是什么意思
  • 局部规划算法
  • 分期收款企业所得税确认时间
  • 所得税费用科目的贷方登记
  • 员工离职补偿怎么入账
  • Java多线程(6):锁与AQS(中)
  • Huggingface之transformers零基础使用指南
  • 资本公积常用的计量方法
  • 应付票据贴现是负债吗
  • 管家婆软件出库入库如何用
  • 转让土地使用权会计分录
  • 让渡资产属于什么
  • 融资租出的办公楼
  • 联营企业与合营企业纳入合并吗
  • sqlserver2008数据库备份和恢复步骤
  • sql如何进行事务操作
  • 房屋开发企业
  • 员工报销的差旅费会计分录
  • 支付货款怎么做记账凭证
  • 红字更正法和红字冲销
  • 无发票入账违反什么规定
  • 折扣怎么写会计分录
  • 核定征收需要带什么资料
  • 账簿的概念与分类
  • linux下mysql的root密码忘记的解决方法
  • ubuntu server教程
  • mac音频设置在哪里
  • 在mac外置硬盘上安装软件
  • win7如何创建文件夹
  • sdis.exe
  • linux定时删除2天前的文件输出日志
  • win10如何清除系统
  • windows8无线网络
  • 如何使用jquery插件
  • 简单的分享一下
  • nodejs登录成功跳转
  • js脚本如何获取数据库内容?
  • javascrpt绑定事件之匿名函数无法解除绑定问题
  • js面向对象的三大特性
  • 车辆购置税怎样交
  • 企业税务代码是什么号
  • 新加坡国税局的电话号码
  • 乳胶枕属于什么经营范围
  • 山东税务师协会官网
  • 支付宝交税查询
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设