位置: IT常识 - 正文

【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca

编辑:rootadmin
【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca

推荐整理分享【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

昨天在github上看到一个在本地部署中文大模型的项目,和大家分享一下。先把地址po出来。

项目名称:中文LLaMA&Alpaca大语言模型+本地部署 (Chinese LLaMA & Alpaca LLMs) 项目地址:https://github.com/ymcui/Chinese-LLaMA-Alpaca

以下是原github中给出的体验GIF,可以看到这个模型还是具备一定的指令理解和上下文对话能力的。

由于模型使用的是LoRA(一种高效模型训练方法),所以整个模型的参数量是比较小的(压缩包大概不到800M),但是需要和原版Facebook的权重进行结合才能使用。其实Facebook开源了,但又没完全开源,薛定谔的猫(滑稽)。所以大家自己想办法去搞到原版权重吧。

【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca

整个合并流程在原项目里写的都比较清楚,大家可以自己去看一下,需要alpaca-lora和llama.cpp两个工具。 具体步骤就不赘述了,感兴趣的看一下项目中的描述。

我使用的是苹果M1芯片,整体上没遇到什么麻烦,很顺利的就完成了模型量化过程,最终模型大概是4G。接下来就可以欢快地在本地玩耍了。解码参数就用的项目中提供的默认配置。

接下来就用量化后的模型测一下效果。需要注意的是量化后会有精度损失,效果应该是没有完整版的好,但好在速度快。

我先问一个关于温室效应的问题

整体上我觉得答得还是蛮不错的,而且也具备一些上下文的理解能力,而不是单轮能力。

再问一个数学问题

可以看到这里的回答不尽人意,也是很多开源模型的硬伤,对数值计算和推理方面不是很在行。

如何制作宫保鸡丁?

可以看到制作宫保鸡丁的一些要素是包含了,但是可以想象出这个做出来可能并不是宫保鸡丁 😂

写一封信

写信方面做的还是不错的,虽然里面有一些小细节还需要再斟酌和修改。

最后再来几个翻译吧

整体翻译的还是不错的,没有什么大毛病。

总结

整体而言,该模型具备一定的中文理解能力,也有类似ChatGPT的指令执行和上下文理解能力,对于一些常规的非推理类的任务来说还是比较好的。但也能看到在数学、推理、代码等场景效果不好。这可能是因为训练数据里没有涉及太多这部分数据的关系。相信之后会有更多类似的模型出现,进一步降低大模型的门槛。

本文链接地址:https://www.jiuchutong.com/zhishi/295862.html 转载请保留说明!

上一篇:JavaScript:实现复制粘贴剪切功能(js实现dialog)

下一篇:vue3【计算属性与监听-详】(vue使用计算属性)

  • 车辆购置税完税证明是什么
  • 应纳税所得额为什么要减去60000
  • 金蝶系统如何设置套打
  • 已经认证的发票对方可以作废吗
  • 以库存现金付讫
  • 小企业会计准则以前年度损益调整
  • 募捐建议
  • 注册地在境外的公司需要纳税么
  • 房屋租赁合同印花税计税依据
  • 公司发实物要交税吗
  • 会务费发票要附上照片吗
  • 滞留发票是什么意思
  • 广告公司营改增账务处理
  • 资本溢价公积金计算公式
  • 全资子公司合并抵消
  • 转登记日下期指的是什么
  • 个体户营业收入超过500万
  • 个税怎么抵
  • 注册资本与利息的税前扣除
  • 一般贸易和进料加工的区别是什么
  • 税局代开专票季度未达起征点怎么缴纳地税?
  • 生产成本怎样结转科目明细
  • ipad怎么切换输入法
  • mdn php
  • 事业单位需要交企业所得税吗
  • 法人不缴纳社保员工可以缴纳吗怎么办
  • 财产保险公司手续费税前扣除最新
  • 日本北海道 (© Hiroshi Yokoyama/eStock Photo)
  • 低值易耗品报废时有残料价值收回的应冲减当月成本费用
  • 联表更新数据
  • 珠宝行业会计核算内容
  • 申报表中的免税销售额是收入吗
  • 帝国cms安装教程
  • 处置子公司利润表怎么处理
  • 银行存款手工明细分类账
  • 代建工程开发成本核算应设置的会计科目是( )
  • 建筑劳务税率是13还是6
  • js对象模型是什么
  • 跨国公司海外子公司
  • mysqldump导入数据库
  • 现金科目的指定科目是什么
  • 什么是简易征收?其公式是什么?
  • 资产负债率如何
  • 税务查账后如何结转
  • 增值税发票遗失可以补开吗
  • 免征文化事业建设费条件的销售额标准
  • mysql和mongo的区别
  • 增值税期末留抵退税附加税退还吗
  • 权益法的股权比例
  • 不同银行外币汇率不一样
  • 公司送客户的礼品账务处理
  • 行政单位 预算会计
  • 人力资源外包服务平台
  • 长期股权投资全部亏损汇算清缴怎么填
  • 印花税多久申报一次2023
  • 提交印花税会计分录
  • 对公支付宝可以转个人银行卡吗
  • 企业股东的出资方式
  • 年初未分配利润在利润表怎么填
  • sqlserver游标的使用
  • sql合并数据库
  • centos 命令
  • win7升级win10之后视频解码能力变弱
  • linux数据恢复公司 海南
  • linux文件压缩和备份实验
  • win1020h2版好不好
  • win7安装内存4g
  • bat批处理命令运行程序
  • css划动
  • pycharm官方教程
  • jquery 放大镜
  • python语言的特殊符号
  • android开发—01开发环境的搭建
  • 全面解析少女时代关系
  • python ntlk
  • ajax获取数据两种类型
  • 个人出租住房增值税免税政策
  • 税务工商指的是什么
  • 房产税怎么计提和缴纳分录
  • 电子税务局网页版
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设