位置: IT常识 - 正文

Alpaca-Lora (羊驼-Lora): 轻量级 ChatGPT 的开源实现(对标 Standford Alpaca)(lama羊驼)

编辑:rootadmin
Alpaca-Lora (羊驼-Lora): 轻量级 ChatGPT 的开源实现(对标 Standford Alpaca) Alpaca-Lora (羊驼-Lora): 轻量级 ChatGPT 的开源实现(对标 Standford Alpaca)文章目录Alpaca-Lora (羊驼-Lora): 轻量级 ChatGPT 的开源实现(对标 Standford Alpaca)总览前言(与正文可能无关,可以忽略)LoRA 简要介绍各类资源Alpaca-Lora Colab 体验本地安装环境准备运行 generate.py小结总览

推荐整理分享Alpaca-Lora (羊驼-Lora): 轻量级 ChatGPT 的开源实现(对标 Standford Alpaca)(lama羊驼),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:羊驼官方,adanza羊驼,alpacasa羊驼,asoul羊驼,羊驼 lama alpaca,羊驼 lama alpaca,alpacasa羊驼,羊驼 lama alpaca,内容如对您有帮助,希望把文章链接给更多的朋友!

本文介绍 Alpaca-Lora (羊驼-Lora),可以认为是 ChatGPT 轻量级的开源版本,它使用 Lora (Low-rank Adaptation) 技术在 Meta 的 LLaMA 7B 模型上微调,只需要训练很小一部分参数就可以获得媲美 Standford Alpaca 模型的效果;本文重点在它的本地安装方法…

前言(与正文可能无关,可以忽略)

前段时间介绍了 Stanford Alpaca (羊驼):ChatGPT 学术版开源实现,感觉大家热情高涨,可能 Stanford Alpaca 团队也感受到了这些热情,在线体验地址也暂时关闭了。我看 Stanford Alpaca 的训练代码已经开源,如果要训练的话,需要向 Meta 提交 LLaMA 的申请问卷,目前我已提交,在等 Meta 的邮件回复。

等待过程中惊奇的发现 Alpaca-LoRA: Low-Rank LLaMA Instruct-Tuning 项目,它居然可以直接访问 LLaMA-7B 模型!经过一番折腾,终于在本地成功部署,效果如下:

左边红框我要它输出一段 Python 代码,右边红框中它实现了一个加法函数,效果不错!可惜我 GPU 显存太小,只有 8G,模型参数量化后虽然可以成功加载,但是做预估时会报奇怪的错误,所以我最后一刻决定用 CPU 运行。。。先把问题解决再考虑后续优化。

本文主要介绍一下本地安装的方法。文中列出的资源可以在 “各类资源” 这一节中找到。

LoRA 简要介绍

关于 Alpaca-Lora 和 Stanford Alpaca 模型的区别,我先入为主的印象是,Stanford Alpaca 是在 LLaMA 整个模型上微调,而 Alpaca-Lora 则是利用 Lora 技术(LoRA: Low-Rank Adaptation of Large Language Models),在冻结原模型 LLaMA 参数的情况下,通过往模型中加入额外的网络层,并只训练这些新增的网络层参数。由于这些新增参数数量较少,这样不仅 finetune 的成本显著下降,还能获得和全模型微调类似的效果。想想最近 Stable Diffusion 文生图扩散模型(Stable Diffusion 原理介绍与源码分析(一、总览))的效果,在 LoRA 的加持下,可以生成很高质量的图片。

LoRA 的结构如下:

蓝色模块是原模型,而橙色模块则是新增网络层,通过控制参数 r 的大小,可以有效减少新增网络层的参数。

各类资源Alpaca-Lora 地址:https://github.com/tloen/alpaca-loraStandford Alpaca 地址:https://github.com/tatsu-lab/stanford_alpacaLora 的论文地址:https://arxiv.org/abs/2106.09685LLaMA-7B-HF 模型地址:https://huggingface.co/decapoda-research/llama-7b-hfLora 参数地址:https://huggingface.co/tloen/alpaca-lora-7b如何优雅的下载huggingface-transformers模型: https://zhuanlan.zhihu.com/p/475260268Alpaca-Lora Colab 体验

如果想在线快速体验,可以使用 Colab,打开 Alpaca-Lora 项目 Github 主页,点击如下红框给出的链接即可。

网速极快,体验贼好,免去了本地安装的一切烦恼。。。

本地安装环境准备

虽然 README 文件中说使用 pip install -r requirements.txt 就 OK 了,但是我还是决定用 conda 创建一个虚拟环境,environment.yaml 文件如下:

name: alpacachannels: - pytorch - defaultsdependencies: - python=3.8.5 - pip=20.3 - cudatoolkit=11.3 - pytorch=2.0.0 - numpy=1.19.2 - pip: - datasets - loralib - sentencepiece - accelerate - bitsandbytes - gradio - appdirs - -e git+https://github.com/huggingface/transformers.git@main#egg=transformers - -e git+https://github.com/huggingface/peft.git@main#egg=peft

然后使用如下命令激活:(顺便吐槽一句,master 分支如今写成 main 分支,哈哈)

conda env create -f environment.yamlconda activate alpaca

激活后,可以再执行 pip install -r requirements.txt 进行 double check。

运行 generate.pyAlpaca-Lora (羊驼-Lora): 轻量级 ChatGPT 的开源实现(对标 Standford Alpaca)(lama羊驼)

正常情况下,如果有超过 8G 的 GPU 显存,并且网络之类的都相当 good 的话,那么直接运行 python generate.py 就能成功。

但这篇文章之所以有存在的必要,就是因为遇到太多不正常的情况😂😂😂

首先是模型参数的下载,包括 LLaMA-7B-HF 大模型(地址:https://huggingface.co/decapoda-research/llama-7b-hf)以及 Lora 参数 (地址:https://huggingface.co/tloen/alpaca-lora-7b),下载报 HTTP Requests 之类的错误。

我参考 《如何优雅的下载huggingface-transformers模型》(地址:https://zhuanlan.zhihu.com/p/475260268)一文,安装 huggingface_hub 进行模型下载,速度非常快,执行如下命令下载模型:

>>> from huggingface_hub import snapshot_download>>> snapshot_download(repo_id="decapoda-research/llama-7b-hf")

结果如下:

不过快下载完的时候报错中断,我把上面的命令重新执行一次,就能正常接着下载:

模型下载成功后,终端会输出模型的保存地址,可以使用 stat -Lc "%n %s" * 命令大致看下各文件大小有没有缺斤少两的,和 Hugging Face 上的模型大小简单对比一下:

该命令中, -L 表示对 soft link 进行处理,-c "%n %s" 指定输出格式,其中 %n 表示文件的名字,%s 表示文件大小,我看着文件大小符合预期。

别忘了 LoRA 模型哈: 执行 snapshot_download(repo_id="tloen/alpaca-lora-7b") 下载 Lora 参数。

然后接着运行 generate.py,可是在如下代码报错:

直接注释即可。

解决上述问题后,我使用 8G 的 GPU 运行,仍然会在中途报 ZeroDivisionError: integer division or module by zero:

我是通过去修改 accelerate 这个包的源码避开这个问题的,需要简单读一下 get_max_memory() 函数的实现。最后运行成功界面如下:

不过也注意到显存快到极限了。因此就算避开了上述问题,由于 GPU 显存天然的限制(就像游戏中要你氪金,你偏不氪,那么体验肯定不会好),后面再其他地方仍会报错,我尝试解决无果,最终决定在 CPU 上运行…

再贴一次成功后的画面:

小结

本文介绍了 ChatGPT 轻量级的开源版本 Alpaca-Lora (羊驼-Lora),它使用 Lora (Low-rank Adaptation) 技术在 Meta 的 LLaMA 7B 模型上微调,只需要训练很小一部分参数就可以获得媲美 Standford Alpaca 模型的效果。此外还较为详细的介绍了其在本地安装的方法。

经此一役,愈发感慨 GPU 的重要性,哪怕多给我 1G,也不至于如此窘迫。为了省出一点显存资源,我把其他能关闭的进程都关闭了,还得去 debug 之类的… 当初想着自己不玩大型游戏,觉得 8G 够用了… 人类对算力的需求是永无止境的。好好加班,攒信仰!

(对了,可以在微信中搜索 “珍妮的算法之路” 或者 “world4458” 关注我的微信公众号, 及时获取最新原创技术文章更新。。。)

本文链接地址:https://www.jiuchutong.com/zhishi/297550.html 转载请保留说明!

上一篇:【1】从零开始学习目标检测:YOLO算法详解(小说《从零开始》)

下一篇:0.96寸OLED显示汉字,数字,英文,图片,GIF动画+取模软件使用+代码解析(0.96寸OLED显示汉字)

  • 什么是ftp

    什么是ftp

  • dwg是什么文件(dwg是什么文件格式电脑怎么打开)

    dwg是什么文件(dwg是什么文件格式电脑怎么打开)

  • 手机发声口脏怎么清理(手机发音处有灰尘怎么办)

    手机发声口脏怎么清理(手机发音处有灰尘怎么办)

  • 新硬盘使用前怎么处理(新硬盘使用前需要格式化吗)

    新硬盘使用前怎么处理(新硬盘使用前需要格式化吗)

  • 红米10x什么时候发布(红米10x参数)

    红米10x什么时候发布(红米10x参数)

  • 光信号闪烁红灯 wifi连得上但是没网(光猫光信号闪烁红灯)

    光信号闪烁红灯 wifi连得上但是没网(光猫光信号闪烁红灯)

  • 苹果冲到百分之八十不上去了(苹果充电到百分百)

    苹果冲到百分之八十不上去了(苹果充电到百分百)

  • 户外模式和标准模式什么区别(户外模式和标准模式有什么区别)

    户外模式和标准模式什么区别(户外模式和标准模式有什么区别)

  • 手机QQ空间日志怎么设置权限(手机qq空间日志怎么批量删除)

    手机QQ空间日志怎么设置权限(手机qq空间日志怎么批量删除)

  • qq匿名投票发起人能看到谁投的吗(qq匿名投票发起人可以看到每个人具体投票结果吗)

    qq匿名投票发起人能看到谁投的吗(qq匿名投票发起人可以看到每个人具体投票结果吗)

  • 电脑开机f1怎么去掉(电脑开机f1怎么恢复系统)

    电脑开机f1怎么去掉(电脑开机f1怎么恢复系统)

  • 微店认证审核要多久(微店审核快不快)

    微店认证审核要多久(微店审核快不快)

  • 安全模式怎么解除手机(安全模式怎么解除荣耀手机)

    安全模式怎么解除手机(安全模式怎么解除荣耀手机)

  • 苹果xsmax可以当门禁卡吗(iphone xs max可以当空调遥控器吗)

    苹果xsmax可以当门禁卡吗(iphone xs max可以当空调遥控器吗)

  • 主机是指什么(手机主机是指什么)

    主机是指什么(手机主机是指什么)

  • word文档怎么将文字竖排(word文档怎么将文字转换成表格)

    word文档怎么将文字竖排(word文档怎么将文字转换成表格)

  • 电脑运行速度慢的解决方法(电脑运行速度慢的原因及解决方法)

    电脑运行速度慢的解决方法(电脑运行速度慢的原因及解决方法)

  • 华为nove5p耳机孔在哪(华为nove5耳机插孔)

    华为nove5p耳机孔在哪(华为nove5耳机插孔)

  • uki好友都是附近的吗(uki有附近人吗)

    uki好友都是附近的吗(uki有附近人吗)

  • iphone11有暗夜绿吗(iphone11暗夜绿为啥像深空灰)

    iphone11有暗夜绿吗(iphone11暗夜绿为啥像深空灰)

  • 小米8游戏加速在哪里(小米8游戏加速有用吗)

    小米8游戏加速在哪里(小米8游戏加速有用吗)

  • aws linux root密码是多少,aws申请ec2实例后如何用root用户登录(linux aws是什么)

    aws linux root密码是多少,aws申请ec2实例后如何用root用户登录(linux aws是什么)

  • deskup.exe是什么进程 deskup进程作用是什么(kpupgrader.exe是什么)

    deskup.exe是什么进程 deskup进程作用是什么(kpupgrader.exe是什么)

  • win10蓝牙共享网络怎么用(win10蓝牙共享网络给手机)

    win10蓝牙共享网络怎么用(win10蓝牙共享网络给手机)

  • pavsched.exe是什么进程 pavsched进程查询(pax是什么文件)

    pavsched.exe是什么进程 pavsched进程查询(pax是什么文件)

  • 什么是简易征税项目
  • 利润总额亏损还有没有所得税
  • 一般纳税人收到专票怎么认证
  • 视同销售的增值税如何计算
  • 不征税收入和免税收入所对应的成本与费用能否税前扣除
  • 为什么要计提递延所得税
  • 图书计入什么费用
  • 投入实收资本需要缴纳什么税
  • 用于连续生产的消费税计入
  • 技改贴息资金的财务、会计及税收处理
  • 房租费可以摊销吗
  • 有限责任公司(自然人投资或控股)
  • 以前多计提了应付职工薪酬怎么平账?
  • 国有企业的所得税怎么算
  • 劳务费需要预缴税款吗
  • 营改增后餐饮业税种
  • 变更公司财务人员,需要本人去吗
  • 固定资产上的配件经常更换
  • 无发票的支出如何入账
  • 社保和公积金的钱可以取出来吗
  • 无形资产管理费用不计入
  • 先收到发票后到货分录
  • 卸载软件怎么清理干净
  • 应付账款的暂估入账
  • 单位交水费会计分录
  • php 签名算法
  • 如何禁用win10自动修复
  • kb4579311安装失败
  • 文件pages
  • PHP:mb_decode_mimeheader()的用法_mbstring函数
  • php 字符串函数
  • php中url
  • 企业购买预付卡送人分录
  • 增值税发票作废后还能查到吗
  • Realsense D455/435内参标定以及手眼标定
  • 不得领购使用增值税专用发票
  • 建筑工程房屋租赁费属于什么费用
  • 增值税加计抵减怎么算
  • 金税盘一定要有吗
  • vue3生命周期及使用
  • 【深度学习】详解 MAE
  • php与其他语言的比较
  • 股权转让怎么做凭证分录
  • 筹备期间费用怎么做分录
  • 如何隐藏应用软件华为
  • 所得税汇算清缴退税会计分录怎么做
  • 印花税技术服务合同包括哪些
  • 一般计税增值税预缴税款怎么算
  • 申报错误后处理有影响吗
  • 存单丢失了,去哪里挂失
  • 服务业有制造费用吗
  • 贴现公司贴现合法吗
  • 被收购企业账务怎么处理
  • 当月增加的固定资产当月不计提折旧
  • 技术开发技术服务属于什么行业
  • 负数发票跨月怎么作废
  • 哪些福利费没有附加税
  • 分公司有独立账套吗
  • navicat连接教程
  • sql server索引怎么用
  • mysql理论知识
  • mac80211源码分析
  • 如何设置linux
  • 监控iphone软件
  • win11怎么关闭系统防火墙
  • centos云服务器
  • 电脑windows8怎么样
  • win7显卡属性在哪
  • win7系统打不开网络和共享中心
  • kb4592449-windows安全每月质量汇总
  • js模拟登录网站
  • 完美解决gvim的菜单乱码问题
  • 象棋软件编程
  • android保存文件到本地
  • bootstrap按钮图标
  • Unity for Absolute Beginners(一)
  • unity3d all compiler errors
  • pythonglobal用法
  • jquery22
  • 纳税人如何划分
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设