位置: IT常识 - 正文

【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca

编辑:rootadmin
【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca

推荐整理分享【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

昨天在github上看到一个在本地部署中文大模型的项目,和大家分享一下。先把地址po出来。

项目名称:中文LLaMA&Alpaca大语言模型+本地部署 (Chinese LLaMA & Alpaca LLMs) 项目地址:https://github.com/ymcui/Chinese-LLaMA-Alpaca

以下是原github中给出的体验GIF,可以看到这个模型还是具备一定的指令理解和上下文对话能力的。

由于模型使用的是LoRA(一种高效模型训练方法),所以整个模型的参数量是比较小的(压缩包大概不到800M),但是需要和原版Facebook的权重进行结合才能使用。其实Facebook开源了,但又没完全开源,薛定谔的猫(滑稽)。所以大家自己想办法去搞到原版权重吧。

【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca

整个合并流程在原项目里写的都比较清楚,大家可以自己去看一下,需要alpaca-lora和llama.cpp两个工具。 具体步骤就不赘述了,感兴趣的看一下项目中的描述。

我使用的是苹果M1芯片,整体上没遇到什么麻烦,很顺利的就完成了模型量化过程,最终模型大概是4G。接下来就可以欢快地在本地玩耍了。解码参数就用的项目中提供的默认配置。

接下来就用量化后的模型测一下效果。需要注意的是量化后会有精度损失,效果应该是没有完整版的好,但好在速度快。

我先问一个关于温室效应的问题

整体上我觉得答得还是蛮不错的,而且也具备一些上下文的理解能力,而不是单轮能力。

再问一个数学问题

可以看到这里的回答不尽人意,也是很多开源模型的硬伤,对数值计算和推理方面不是很在行。

如何制作宫保鸡丁?

可以看到制作宫保鸡丁的一些要素是包含了,但是可以想象出这个做出来可能并不是宫保鸡丁 😂

写一封信

写信方面做的还是不错的,虽然里面有一些小细节还需要再斟酌和修改。

最后再来几个翻译吧

整体翻译的还是不错的,没有什么大毛病。

总结

整体而言,该模型具备一定的中文理解能力,也有类似ChatGPT的指令执行和上下文理解能力,对于一些常规的非推理类的任务来说还是比较好的。但也能看到在数学、推理、代码等场景效果不好。这可能是因为训练数据里没有涉及太多这部分数据的关系。相信之后会有更多类似的模型出现,进一步降低大模型的门槛。

本文链接地址:https://www.jiuchutong.com/zhishi/295862.html 转载请保留说明!

上一篇:JavaScript:实现复制粘贴剪切功能(js实现dialog)

下一篇:vue3【计算属性与监听-详】(vue使用计算属性)

  • 使用qq群邮件推广的技巧分享(qq群邮件是发送给所有人吗)

    使用qq群邮件推广的技巧分享(qq群邮件是发送给所有人吗)

  • ipad2020是ipad8吗(ipad2020是ipad4吗)

    ipad2020是ipad8吗(ipad2020是ipad4吗)

  • 华为手机nova4e怎么没有智能辅助(华为手机nova4e怎么恢复出厂设置)

    华为手机nova4e怎么没有智能辅助(华为手机nova4e怎么恢复出厂设置)

  • 网易云如何查看已购专辑(网易云如何查看听歌次数)

    网易云如何查看已购专辑(网易云如何查看听歌次数)

  • 小米手机私密文件在哪里看(小米手机私密文件夹在哪里找)

    小米手机私密文件在哪里看(小米手机私密文件夹在哪里找)

  • 快手小店查不到订单怎么办(快手小店查不到物流信息怎么办)

    快手小店查不到订单怎么办(快手小店查不到物流信息怎么办)

  • 抖音视频卡顿是怎么回事(抖音视频特别卡)

    抖音视频卡顿是怎么回事(抖音视频特别卡)

  • 快手流量券是什么意思(快手流量券是啥)

    快手流量券是什么意思(快手流量券是啥)

  • iphone7plus来电闪光灯怎么设置(苹果7p手机来电闪光灯)

    iphone7plus来电闪光灯怎么设置(苹果7p手机来电闪光灯)

  • 手机能连打印机么(手机能连打印机吗怎么连)

    手机能连打印机么(手机能连打印机吗怎么连)

  • 华为手机长截图怎么弄的(华为手机长截图手势操作)

    华为手机长截图怎么弄的(华为手机长截图手势操作)

  • 手机怎么看屏幕多少hz(手机怎么看屏幕供应商)

    手机怎么看屏幕多少hz(手机怎么看屏幕供应商)

  • 新款的苹果11手机怎么截屏(新款的苹果11手机多少钱)

    新款的苹果11手机怎么截屏(新款的苹果11手机多少钱)

  • 小米手环4待机时间多久(小米手环4待机耗电快)

    小米手环4待机时间多久(小米手环4待机耗电快)

  • 淘宝月销量怎么变少了(淘宝月销量怎么变少了2个)

    淘宝月销量怎么变少了(淘宝月销量怎么变少了2个)

  • oppo手机手电筒不亮了怎么回事(oppo手机手电筒怎么放桌面)

    oppo手机手电筒不亮了怎么回事(oppo手机手电筒怎么放桌面)

  • 苹果watch不配对能用吗(苹果手机和watch怎么配对)

    苹果watch不配对能用吗(苹果手机和watch怎么配对)

  • ipadair2几小时充满电(ipadair2正常充电多久充满)

    ipadair2几小时充满电(ipadair2正常充电多久充满)

  • 小米6x支持qc3.0吗

    小米6x支持qc3.0吗

  • ipad6代是什么型号(ipad6代是几代)

    ipad6代是什么型号(ipad6代是几代)

  • 拼多多退货单号在哪儿(拼多多退货单号怎么填)

    拼多多退货单号在哪儿(拼多多退货单号怎么填)

  • 手机怎样连接电视机(手机怎样连接电视机播放视频)

    手机怎样连接电视机(手机怎样连接电视机播放视频)

  • 电脑屏幕亮度怎么调xp(电脑屏幕亮度怎么调暗一点)

    电脑屏幕亮度怎么调xp(电脑屏幕亮度怎么调暗一点)

  • Win10 Dev 预览版 21296正式发布(dev beta 发布预览)

    Win10 Dev 预览版 21296正式发布(dev beta 发布预览)

  • 固定资产一次性折旧的账务处理和税务处理
  • 偷税与漏税的界限是
  • 安全生产费实际发生必须是付款吗还是挂帐也可以
  • 个人独资企业需要监事吗
  • 净利润和盈余公积的会计分录
  • 差额增税可以抵扣吗
  • 汇算清缴常见问题
  • 虚拟货币会计分录
  • 自产自销农产品企业所得税
  • 金蝶专业版怎么导入备份账套
  • 培训发生的差旅费的会计准则有哪些
  • 房租合同印花税计算方法
  • 股权投资和债权投资的风险
  • 怎么不用关税
  • 公司支付宝扣的钱去哪了
  • 17税点变更成16税点
  • 销售成本结转中的库存商品的单价错了怎么改u8
  • 扶持资金属于政府补助吗
  • 支付跨年租金如何处理
  • 给不是本单位的人开证明
  • 税率开错的增值税发票怎么办
  • 金税盘问题
  • 新办的营业执照多久可以注销
  • 公司注销固定资产怎么处理税怎么交
  • 代开增值税发票沒有付款怎么做账?
  • 办理对公账户手续流程
  • 教育培训行业怎么办
  • 待抵扣进项税额借贷方向
  • 出口信用证议付支出是什么
  • 所得税费用什么时候结转
  • 建筑施工企业跨区域如何缴税
  • 房产中介如何收取中介费
  • 什么是留存收益项目
  • 收境外汇款时怎么操作
  • 公司作为股东有什么好处
  • 对账小技巧
  • 外经证核销期限是多久
  • 瑞数5.5逆向笔记(纯扣算法)
  • python编程自动化框架怎么搭建
  • php定义方法
  • phpcms官网打不开
  • 没有初级会计证可以从事会计工作吗
  • 用人民币支付的公司
  • 借款合同 印花
  • phpcms api
  • DEDECMSV5.6将软件下载次数直接生成静态
  • 保洁公司保洁服务税率
  • 报废的机器设备属于什么会计要素
  • 融资租入固定资产的租赁费属于什么费用
  • 应付职工薪酬如何结转
  • 报关代理费进成本吗
  • 如何提取工会经费的钱
  • 自产自销的茶叶公司怎么做账
  • 增值税专用发票的税率是多少啊
  • 工业企业无形资产有哪些
  • mysql中分组
  • 三星电脑安装系统为什么进入不了安装页面
  • 打开与关闭光驱怎么设置
  • Windows7/2008中批量删除隧道适配器的方法
  • windows server vista
  • 在linux操作系统中,/etc/rc.d/init.d
  • 怎么更改win7
  • win8自带软件
  • ubuntu写脚本
  • windows10更新出错
  • centos yum 命令
  • windows开发教程
  • linux系统主要用途
  • lessons there是什么意思
  • jquery的插件
  • listview item
  • js 图像
  • JavaScript SweetAlert插件实现超酷消息警告框
  • javascript初级教程
  • javascript面向对象精要
  • 报价单盖什么公章
  • 税务局有哪些职务名称
  • 机构改革结束了吗
  • 增值税普通发票有什么用
  • 河南地税申报表怎么填
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设