位置: IT常识 - 正文

ChatGPT的平替来了?一文总结 ChatGPT 的开源平替,你值得拥有(trainer 平替)

编辑:rootadmin
ChatGPT的平替来了?一文总结 ChatGPT 的开源平替,你值得拥有 文章目录【AIGC精选】总结 ChatGPT 的开源平替,你值得拥有1.斯坦福发布 Alpaca 7B,性能匹敌 GPT-3.52.弥补斯坦福 Alpaca 中文短板,中文大模型 BELLE 开源3.国产AI大模型 ChatGLM-6B 开启内测4.中文 Alpaca 模型 Luotuo 开源5. ChatGPT 最强竞品 Claude 开放API【AIGC精选】总结 ChatGPT 的开源平替,你值得拥有

推荐整理分享ChatGPT的平替来了?一文总结 ChatGPT 的开源平替,你值得拥有(trainer 平替),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:oatly平替,oatly平替,smoother平替,track平替,oatly平替,track平替,track平替,track平替,内容如对您有帮助,希望把文章链接给更多的朋友!

2023 年,聊天机器人领域似乎只剩下两个阵营:「OpenAI 的 ChatGPT」和「其他」。

再加上前段时间 GPT-4 的发布,ChatGPT 也有了更强大的推理和多模态能力,OpenAI 几乎不可能将其开源。

OpenAI 分享了大量 GPT-4 的基准和测试结果,但是基本上没有提供用于训练的数据、成本、或者用于创建模型的方法。

然而,表现欠佳的「其他」阵营却一直在做开源方面的努力。

目前业界可以下载到的一些大模型:

GLM-10B/130B:双语(中文和英文)双向稠密模型。OPT-2.7B/13B/30B/66B:Meta开源的预训练语言模型。LLaMA-7B/13B/30B/65B:Meta开源的基础大语言模型。Alpaca(LLaMA-7B):一个强大的可复现的智能跟随模型,种子任务都是英语,收集的数据也都是英文,因此训练出来的模型未对中文优化。Alpaca-Lora:Stanford Alpaca 是在 LLaMA 整个模型上微调,而 Alpaca-Lora 则是利用 Lora 技术,在冻结原模型 LLaMA 参数的情况下,通过往模型中加入额外的网络层,并只训练这些新增的网络层参数。由于这些新增参数数量较少,这样不仅微调的成本显著下降,还能获得和全模型微调类似的效果。BELLE(BLOOMZ-7B/LLaMA-7B):项目基于 Stanford Alpaca,针对中文做了优化,模型调优仅使用由ChatGPT生产的数据(不包含任何其他数据)。ChatGLM-6B:中英双语的对话语言模型。

原文传送门:【AIGC精选】总结 ChatGPT 的开源平替,你值得拥有

1.斯坦福发布 Alpaca 7B,性能匹敌 GPT-3.5

面对 ChatGPT 等大模型的来势汹汹,开源平替是一个不错的选择。

二月低,Meta「开源」了一个新的大模型系列 —— LLaMA(Large Language Model Meta AI),参数量从 70 亿到 650 亿不等。130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过参数量达 1750 亿的 GPT-3,而且可以在单块 V100 GPU 上运行。

传送门:Meta发布最新大模型LLaMA:参数规模更小,单卡就能跑赢GPT-3

图注:LLaMA做出的一些成果

翻译:- 2月24日,LLaMA发布,并在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者;- 3月2日,4chan网友泄露了全部的LLaMA模型;- 3月10日,Georgi Gerganov创建了llama.cpp工具,可以在搭载M1/M2芯片的Mac上运行LLaMA;- 3月11日:通过llama.cpp可以在4GB RaspberryPi上运行7B模型,但速度比较慢,只有10秒/token;- 3月12日:LLaMA 7B在一个node.js执行工具NPX上成功运行;- 3月13日:llama.cpp可以在Pixel 6手机上运行;- 3月14日,斯坦福Alpaca「羊驼」发布。

3月14日,斯坦福基于 LLaMA 7B 微调出一个具有 70 亿参数的新模型 Alpaca,他们使用了 Self-Instruct 论文中介绍的技术生成了 52K 条指令数据,同时进行了一些修改,在初步的人类评估中,Alpaca 7B 模型在 Self-Instruct 指令评估上的表现类似于 text-davinci-003(GPT-3.5)模型。

从参数规模的角度看,Alpaca 远远小于 text-davinci-003,移动端甚至也可以运行 7B 的轻量级语言模型。

在性能上,研究团队测试的结果表明 Alpaca 的输出良好,并且反映出指令遵循数据集的一般风格。例如,Alpaca 输出的答案通常比 ChatGPT 更简洁,这和 text-davinci-003 类似。不过,Alpaca 还是会表现出语言模型的几种常见缺陷,包括幻觉、毒性和刻板印象。

成本方面,研究所涉及到的数据集,是斯坦福团队花了不到500美元用 OpenAI 的API来生成的。另外,在 8 个 80GB A100 上微调一个 7B LLaMA 模型需要 3 个小时,这对大多数云计算提供商来说成本不到 100 美元。所以,斯坦福团队用不到 600 美元就复现了一个性能匹敌 GPT-3.5的AI模型。

部署方面,基于 LLaMA 微调的 Alpaca 可以轻松在本地部署。没有显卡也没关系,苹果笔记本甚至树莓派、手机都可以玩。

最后,团队把数据集(秒省500刀,且比原论文的数据多样性更高)、代码统统都给开源了,这下子人人都能去微调个效果炸裂的对话AI:复制一个GPT-3.5效果的AI,很便宜,很容易,还很小。

项目地址: https://github.com/tatsu-lab/stanford_alpaca

试用地址: https://alpaca-ai-custom6.ngrok.io/

Demo地址: https://crfm.stanford.edu/alpaca/

2.弥补斯坦福 Alpaca 中文短板,中文大模型 BELLE 开源

由于 Alpaca 的种子任务都是英语,收集的数据也都是英文,因此训练出来的模型未对中文优化。为了提升对话模型在中文上的效果,开源中文对话大模型 70 亿参数的 BELLE(Bloom-Enhanced Large Language model Engine)来了。

BELLE 基于斯坦福的 Alpaca 完成,对中文做了优化,并对生成代码进行了一些修改,模型调优仅使用由 ChatGPT 生产的数据(不包含任何其他数据)。

项目地址: https://github.com/LianjiaTech/BELLE

在数据方面,该项目开源了基于 Alpaca 的数据收集代码,基于这段代码生成了约 100 万条中文数据,结合 Alpaca 的 5 万条英文数据,在 BLOOMZ-7B 模型训练得到的 checkpoint 上传在 Hugging Face。

Hugging Face 地址: https://huggingface.co/BelleGroup

该项目还采取了不同大小规模(20 万、60 万、100 万和 200 万样本)的指令学习的数据集训练模型,得到不同的模型版本如下所示:

该项目也采用对应数据集基于LLAMA-7B训练调优了模型,现已开放:

具体的模型训练方法可参考Hugingface Transformers的样例,SFT方法可参考Alpaca的训练代码。

3.国产AI大模型 ChatGLM-6B 开启内测

3 月 14 日,由清华技术成果转化的公司智谱 AI 开源了 GLM 系列模型的新成员——中英双语对话模型 ChatGLM-6B,初具问答和对话功能,现已开启邀请制内测(内测申请网址 http://chatglm.cn)。需要注意的是,目前 ChatGLM 每轮对话最多只可以进行5个来回,每次最多输入1000字。

ChatGLM-6B 基于General Language Model(GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署。

ChatGPT的平替来了?一文总结 ChatGPT 的开源平替,你值得拥有(trainer 平替)

具体来说,ChatGLM-6B 具备以下特点:

充分的中英双语预训练:ChatGLM-6B 在 1:1 比例的中英语料上训练了 1T 的 token 量,兼具双语能力。优化了模型架构和大小:具有 62 亿参数,可以在消费级显卡上部署使用。更长的序列长度:相比 GLM-10B(序列长度 1024),ChatGLM-6B 序列长度达 2048,支持更长对话和应用。人类意图对齐训练:使用了监督微调(Supervised Fine-Tuning)、反馈自助(Feedback Bootstrap)、人类反馈强化学习(RLHF)等方式,使模型初具理解人类指令意图的能力。

因此,ChatGLM-6B 具备了一定条件下较好的对话与问答能力。

与此同时,ChatGLM-6B 也存在模型容量较小、可能会产生有害说明或有偏见的内容、较弱的多轮对话能力、英文能力不足、易被误导等缺陷。

不过,网上有人质疑该模型是拿 ChatGPT 的数据训练的,加了点中文语料。

项目地址: https://github.com/THUDM/ChatGLM-6B

官方博客: https://chatglm.cn/blog

4.中文 Alpaca 模型 Luotuo 开源

Alpaca 是斯坦福团队基于 LLaMA 7B 在 52k 指令上微调得到的模型,能出色适应多种自然语言应用场景。

Stanford Alpaca 对于普通研究者来说,这是一种切实可行的廉价微调方式,不过需要的运算量仍然较大。而且,Alpaca 的种子任务都是英语,收集的数据也都是英文,因此训练出来的模型未对中文优化。

为了进一步降低微调成本,另一位来自斯坦福的研究者 ——Eric J. Wang 使用 LoRA(low-rank adaptation)技术复现了 Alpaca 的结果。具体来说,Eric J. Wang 使用一块 RTX 4090 显卡,只用 5 个小时就训练了一个和 Alpaca 水平相当的模型,将这类模型对算力的需求降到了消费级。而且,该模型可以在树莓派上运行(用于研究)。

图注:Eric J. Wang 发布的 Alpaca-LoRA 项目

项目地址: https://github.com/tloen/alpaca-lora

这非常适合想要训练自己的类 ChatGPT 模型(包括中文版类 ChatGPT)但又没有顶级算力资源配置的研究者。

在 Alpaca-LoRA 项目问世后,为了提升对话模型在中文上的效果,来自商汤科技和华中科技大学开源中文语言模型骆驼 Luotuo,该项目基于 LLaMA、Stanford Alpaca、Alpaca LoRA、Japanese-Alpaca-LoRA 等完成,单卡就能完成训练部署。

一点小插曲,之所以将模型名字命名为骆驼,是因为 LLaMA(大羊驼)和 Alpaca(羊驼)都属于偶蹄目 - 骆驼科。

项目地址: https://github.com/LC1332/Chinese-alpaca-lora

目前该项目已公开训练的语料和模型权重文件(两个型号:luotuo-lora-7b-0.1、luotuo-lora-7b-0.3),供开发者可使用自己各种大小的语料,训练自己的语言模型,并适用到对应的垂直领域。

目前这个中文版 Alpaca-LoRa 模型 —— Luotuo 能够进行简单的中文对话和问答,开发者可以通过引入其他领域的数据进行模型优化。

不过 luotuo-lora-7b-0.1(0.1)、luotuo-lora-7b-0.3(0.3)还是有差距的,在用户询问华中师范大学地址时,0.1 回答错误。

5. ChatGPT 最强竞品 Claude 开放API

由 OpenAI 前员工(原GPT-3核心成员)创立的人工智能初创公司“Anthropic”发布了一款类似于 ChatGPT的 AI 助手,名为"Claude"。Anthropic宣称,它的目标是“更安全”、“危害更小”的人工智能,但代价更高。目前提供两个版本的 Claude:Claude 和 Claude Instant。不过,Claude 的初始版本无法访问互联网。

因为2019年 OpenAI 与微软达成第一笔交易后越来越注重商业运用,“对公司的方向产生分歧后”离开 OpenAI 的11名前员工创立了“Anthropic”。

在去年12月发布「Constituional人工智能:来自人工智能反馈的无害性」一文后不久,Anthropic 便推出了自家的聊天机器人 Claude,不过并没有开放接口,只能在各个合作伙伴开发的应用中进行体验。

Claude 被称为 ChatGPT 最强竞品,与 ChatGPT 类似,Claude 具有高超的对话能力,能够处理总结、搜索、创意、协同写作、问答、写代码等任务。

3月14日,Anthropic 开放 Claude API,并提供两个版本的模型:Claude 和 Claude Instant。其中 Claude Instant 的延迟更低,性能略差,价格比完全体的 Claude-v1要便宜,两个模型的上下文窗口都是9000个token(约5000个单词,或15页)。

Claude Instant,是一个更快、更便宜的模型,可以处理一系列任务,包括随意对话、文本分析、摘要和文档问题回答。定价:输入:0.43美元/百万字符,输出:1.45美元/百万字符。Claude-v1,是Anthropic公司目前最好的产品,擅长于从复杂的对话和创造性的内容生成。定价:输入:2.9美元/百万字符,输出:8.6美元/百万字符。

友情提示:ChatGPT 3.5(gpt-3.5-turbo接口)价格为2.7美元/百万tokens,和Claude-v1版本价格差不多。

Claude 和 ChatGPT 都依赖于强化学习(RL)来训练偏好(preference)模型,被选中的回复内容将在后续用于模型的微调,只不过具体的模型开发方法不同。Claude 采用了 Anthropic 称之为“宪法式 AI”(Constitutional AI,CAI)的训练技术。

CAI 建立在RLHF的基础之上,不同之处在于,CAI的排序过程使用模型(而非人类)对所有生成的输出结果提供一个初始排序结果。

体验地址:https://www.anthropic.com/product

自 2020 年底以来,Claude 一直在与发布合作伙伴进行安静的 Beta 测试,包括 AssemblyAI、DuckDuckGo、Notion、Quora 和 Robin AI,具体产品包括为 DuckDuckGo 推出的 DuckAssist 工具、Quora 的 AI 聊天应用程序 Poe 和 AI 写作助手 Notion AI 提供支持。

Claude也在积极的与外部伙伴紧密合作,涵盖问答社区、在线教育、法律领域、数字媒体等。- Quora:通过人工智能聊天应用程序Poe向用户提供Claude的对话能力。- Juni Learning:一个在线教育解决方案提供商,利用Claude模型对Discord Juni Tutor Bot的能力进行增强,通过在线辅导的方式提升学生的学术能力。- Notion:Claude 与 Notion 合作以提高工作和学习场景中的生产力。- DuckDuckGo:一个隐私浏览器,与Anthropic合作,推出全新工具DuckAssist,可以自动从维基百科中提取和总结信息,并对用户的问题进行回答。- Robin AI:法律领域软件提供商,使用 Claude 来评估合同的特定部分,并提出对客户更友好的新的替代语言。- AssemblyAI:数字媒体,Claude 帮助其 API 平台大规模转录和理解音频数据。

Claude 的主要优势有以下几点:Claude 比 ChatGPT 更可控,Claude 比 ChatGPT 更诚实,Claude 比 ChatGPT 更无害。

封闭测试期间的客户报告说,Claude 基本不会生成有害的输出,更容易交谈,可操作性更强,不需要精心组织语言,同时还可以对性格、语气和行为等进行设计等。

欢迎各位关注我的个人微信公众号:HsuDan,我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。

参考: https://crfm.stanford.edu/2023/03/13/alpaca.html https://www.thepaper.cn/newsDetail_forward_22302856 https://www.ithome.com/0/681/614.htm https://replicate.com/blog/fine-tune-alpaca-with-lora?continueFlag=4ecae39885197a5c008faabbefb5c824 https://www.thepaper.cn/newsDetail_forward_22455425 https://zhuanlan.zhihu.com/p/616929229

本文链接地址:https://www.jiuchutong.com/zhishi/298935.html 转载请保留说明!

上一篇:A Loepa oberthuri moth (© Robert Thompson/Minden Pictures)

下一篇:滨州高企认定条件(滨州高新技术企业名单)

  • 微信可以指定回复别人发的消息吗(微信可以指定回复好友吗)

    微信可以指定回复别人发的消息吗(微信可以指定回复好友吗)

  • ipad手写键盘怎么设置(ipad手写键盘怎么设置大小)

    ipad手写键盘怎么设置(ipad手写键盘怎么设置大小)

  • 情侣支付宝怎么一起存钱(情侣支付宝怎么一起存钱花钱)

    情侣支付宝怎么一起存钱(情侣支付宝怎么一起存钱花钱)

  • 华为畅享9没有录屏(华为畅享9没有声音怎么处理)

    华为畅享9没有录屏(华为畅享9没有声音怎么处理)

  • 三星s10是曲面屏吗(三星s10是曲面屏还是直面屏)

    三星s10是曲面屏吗(三星s10是曲面屏还是直面屏)

  • 电源已接通未充电什么意思(电源已接通未充电 真正解决办法)

    电源已接通未充电什么意思(电源已接通未充电 真正解决办法)

  • 魅族17什么时候上市(魅族17什么时候更新flyme10正式版)

    魅族17什么时候上市(魅族17什么时候更新flyme10正式版)

  • 小米网关的作用是什么(小米网关有什么作用)

    小米网关的作用是什么(小米网关有什么作用)

  • b站投币up主能得到什么(b站投币up主能得多少经验)

    b站投币up主能得到什么(b站投币up主能得多少经验)

  • 华为matebook充不进电(华为matebook充不进去电)

    华为matebook充不进电(华为matebook充不进去电)

  • 华为手机怎么打开飞行模式(华为手机怎么打开后盖)

    华为手机怎么打开飞行模式(华为手机怎么打开后盖)

  • vsco用别人账号会看到照片吗(vsco用别人的账号)

    vsco用别人账号会看到照片吗(vsco用别人的账号)

  • 苹果自动曝光在哪里锁定(iphone的自动曝光)

    苹果自动曝光在哪里锁定(iphone的自动曝光)

  • 微信怎样发群邀请(微信里面如何发起群聊邀请)

    微信怎样发群邀请(微信里面如何发起群聊邀请)

  • 淘宝无需物流怎么设置(淘宝无需物流怎么改其他物流)

    淘宝无需物流怎么设置(淘宝无需物流怎么改其他物流)

  • ios自动清理缓存(ios自动清除缓存)

    ios自动清理缓存(ios自动清除缓存)

  • u盘坏了如何导出资料(u盘坏了如何导出里面的数据)

    u盘坏了如何导出资料(u盘坏了如何导出里面的数据)

  • 微信验证消息能一直聊天吗(微信验证消息能发图片吗)

    微信验证消息能一直聊天吗(微信验证消息能发图片吗)

  • 华为p30有双系统吗(华为p30有双系统怎么设置)

    华为p30有双系统吗(华为p30有双系统怎么设置)

  • 手机的nfc在哪里开(一加手机的nfc在哪里)

    手机的nfc在哪里开(一加手机的nfc在哪里)

  • oppor17可以遥控空调吗(oppor17带遥控功能吗)

    oppor17可以遥控空调吗(oppor17带遥控功能吗)

  • 华为gt能接电话吗(华为gt接电话没有声音)

    华为gt能接电话吗(华为gt接电话没有声音)

  • switpa.exe - switpa是什么进程

    switpa.exe - switpa是什么进程

  • cpqdfwag.exe是什么进程 能结束吗 cpqdfwag进程查询

    cpqdfwag.exe是什么进程 能结束吗 cpqdfwag进程查询

  • 商贸企业出口进项税会计分录汇总
  • 所得税借方贷方
  • 小规模附加税是多少
  • 2019小规模纳税人税率
  • 预收货款增值税纳税义务发生时间如何确定
  • 企业发生的技术转让费应计入
  • 旧设备用于投资是否应按视同销售处理
  • 建筑业营改增主要政策一览表
  • 有外经证的计税收入怎么算?
  • 内含增长率的推导
  • 购进货品未取得发票如何处理
  • 公司新售楼总部房产税怎样算?
  • 公司之间借款如何做账
  • 增值税发票单位可以不填吗
  • 2021税收分类编码大全
  • 购入工程物资的账务处理
  • 业务招待费业务宣传费
  • 发票已认证未抵扣怎么办
  • 企业预缴多交税了如何申请退税
  • 收到的运输发票要交印花税吗?
  • 年初未交增值税借方怎么处理
  • 生产企业出口退税申报系统详细操作流程
  • 退税应纳税所得额4万交税多少
  • 微信收款会计分录,然后提现有手续费
  • macos monterey支持哪些显卡
  • thinkpade431进去bios设置
  • 股息红利要交税吗
  • php零基础教程
  • 物流辅助服务费计入什么科目
  • 基于chatGPT设计卷积神经网络
  • 生产企业支付的车间劳务外包费入账科目
  • 百旺税控盘跨月发票作废
  • 固定资产盘亏是管理费用吗
  • 个税没有达到起征点能摇号吗
  • 免税农产品发票怎么做账
  • 盈余公积的计提基数
  • 当月的进项税可以不认证吗?
  • 增值税为什么要结转
  • 社保月费基数
  • 税盘进项税额怎么做
  • 计提工资时个税挂其他应收款
  • 辞退福利是入工资还是福利费
  • 固定资产一次性扣除申报表怎么填
  • 企业中征码怎么生成
  • 设立明细账的目的
  • freebsd常用命令
  • 电脑如何将耳机模式换扬声器
  • xp系统怎么提升性能
  • mac系统操作的小技巧
  • qqprotect.exe是什么进程?qqprotect.exe怎么禁止自动启动?
  • keyemain.exe是什么进程
  • win7系统对拷的方法
  • windows10周年更新
  • Ubuntu安装搜狗输入法
  • avsched32.exe是什么进程 avsched32进程有什么作用
  • autorun.inf在win10
  • ubuntu安装教程14.04
  • dos查看进程占用cpu
  • gcuservice.exe
  • win7远程登录win10
  • schedhlp.exe - schedhlp是什么进程 作用是什么
  • windows7cmd命令不能执行
  • 平板电脑截图
  • node与js的区别
  • 关闭iebrowser
  • 关于减肥的好方法
  • opengl画直线
  • nodejs客户端框架
  • javascript definitive guide
  • jquery触发点击事件click
  • linux反弹shell方法
  • node.js操作数据库报错不再队列中
  • jquery给table赋值
  • JavaScript中关于模板字符串
  • Android网络(4):HttpClient必经之路----使用线程安全的单例模式HttpClient,及HttpClient和Application的融合
  • android程序代码
  • 税务局投诉怎么投诉
  • 宁波镇海哪里可以赶海
  • 综述与系统综述
  • 西安医疗保险官网
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设