位置: IT常识 - 正文

轻松玩转开源大语言模型bloom(一)(开源dap)

编辑:rootadmin
轻松玩转开源大语言模型bloom(一) 前言

推荐整理分享轻松玩转开源大语言模型bloom(一)(开源dap),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:开源datav,开源datav,开源大佬,开源datav,开源 dashboard,开源dap,开源dap,开源daw,内容如对您有帮助,希望把文章链接给更多的朋友!

chatgpt已经成为了当下热门,github首页的trending排行榜上天天都有它的相关项目,但背后隐藏的却是openai公司提供的api收费服务。作为一名开源爱好者,我非常不喜欢知识付费或者服务收费的理念,所以便有决心写下此系列,让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。那么废话不多说,本篇将介绍如何在个人电脑上简单的使用bloom模型生成句子。

模型介绍

bloom是一个开源的支持最多59种语言和176B参数的大语言模型。它是在Megatron-LM GPT2的基础上修改训练出来的,主要使用了解码器唯一结构,对词嵌入层的归一化,使用GeLU激活函数的线性偏差注意力位置编码等技术。它的训练集包含了45种自然语言和12种编程语言,1.5TB的预处理文本转化为了350B的唯一token。bigscience在hugging face上发布的bloom模型包含多个参数多个版本,本文中出于让大家都能动手实践的考虑,选择最小号的bloom-1b1版本,其他模型请自行尝试。

环境准备

python版本最好是3.8及以上,因为项目都会逐渐对老版本python停止支持,可能找不到现成的wheel包从而需要自己编译,而windows下需要使用VS,那是个相当痛苦的过程。

推荐pip原生虚拟环境安装,不推荐conda虚拟环境。本文的安装方法都是基于pip,如果你不懂pip虚拟环境请运行以下命令(linux如果有python2,请运行pip3):

pip install virtualenv -i https://mirror.baidu.com/pypi/simple #安装虚拟环境包python -m venv bloom #在当前目录创建名叫bloom的虚拟环境

创建完后如何启动: 先一路cd到根目录,即脚本文件夹所在目录,然后cd进去activate。

cd Scriptsactivate

比如我这里是名叫gpt-ch的环境:

轻松玩转开源大语言模型bloom(一)(开源dap)

输完后这样就表示启动成功了,所有的命令都会在隔离环境里运行,安装的包也都会在gpt-ch/Lib/site-packages里:

安装pip包

如果只用cpu进行推理,只需要安装以下包:

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpupip install transformers -i https://mirror.baidu.com/pypi/simple

如果你想用英伟达gpu进行推理,请自行安装gpu版的torch。这里提供wheel下载链接: 记得torch和torchvision的版本是需要对应的,然后这里默认你已经安装配置好了cuda路径,如果没有请看我之前的文章或者去网上查。 以我这里的cu117版本为例。 运行以下命令:

pip install torch-1.13.0+cu117-cp39-cp39-win_amd64.whl #自行更改文件名pip install torchvision-0.14.0+cu117-cp39-cp39-win_amd64.whl #自行更改文件名pip install transformers -i https://mirror.baidu.com/pypi/simplepip install accelerate -i https://mirror.baidu.com/pypi/simple模型下载

首先请编写以下代码保存运行:

from transformers import AutoModelForCausalLM, AutoTokenizercheckpoint = "bigscience/bloom-1b1" #1b1,可改名成你想要的更大的模型tokenizer = AutoTokenizer.from_pretrained(checkpoint) #下载模型的tokenizermodel = AutoModelForCausalLM.from_pretrained(checkpoint) #下载模型

网速足够快的情况下等一会就下载好了,但通常情况下我们得ctrl+c打断代码运行,手动下载模型存放到对应位置,即.cache\huggingface\hub\models–bigscience–bloom-1b1下。 如果你是windows,那么这个cache文件夹默认会创建在C:\Users\Administrator\下。 如果你是linux,你使用了root权限,会在root文件夹下创建,如果是普通用户权限,则会在对应名称的普通用户目录下,此外该文件夹在linux中默认为隐藏文件夹,需打开权限查看。 下载模型地址 把如上图所示链接中的五个文件(不包含这个flax_model.msgpack)下载下来放进自己的本地目录下的snapshots\一串数字(如下图所示)即可,其他文件夹都不用管。

生成第一段话

万事准备就绪后,就可以开始愉快的游玩了,运行以下代码:

from transformers import AutoModelForCausalLM, AutoTokenizerimport timea1 = time.time()checkpoint = "bigscience/bloom-1b1"tokenizer = AutoTokenizer.from_pretrained(checkpoint)model = AutoModelForCausalLM.from_pretrained(checkpoint)inputs = tokenizer.encode("奋进在不可逆转的复兴进程上", return_tensors="pt") #promptoutputs = model.generate(inputs,min_length=150,max_new_tokens=200,do_sample=True)print(tokenizer.decode(outputs[0])) #使用tokenizer对生成结果进行解码a2 = time.time()print(f'time cost is {a2 - a1} s')

time模块用来计时,我的是十二代i7,花了40s生成。 这里有一些生成时的参数需要讲解一下: min_length是指最小生成长度,等于你输入的提示词+最小生成的token数,也就是input_length+min_new_tokens。 max_new_tokens规定了最大生成的token数目,这里的token你可以理解为一个词,不好翻译所以一律token,忽略你输入的prompt。与之相关的是max_length参数,其实max_length就是max_new_tokens+你输入的prompt长度。 do_sample=True表示进行抽样,否则会使用贪心解码策略。

生成以下结果:

效果如何?是觉得不如人意还是效果逼真呢?

下期我们将尝试各种解码策略生成不一样的结果并进行比较,看到这里的朋友们可以点个关注,我们下期再见。

本文链接地址:https://www.jiuchutong.com/zhishi/298950.html 转载请保留说明!

上一篇:Vue3通透教程【一】Vue3现状—必然趋势?

下一篇:【JavaScript】五个常用功能/案例:判断特定结尾字符串 | 获取指定字符串 | 颜色字符串转换 | 字符串转驼峰格式 | 简易购物车(javascripts)

  • 销售返利可以计入销售费用吗
  • 纳税期是多久
  • 母公司合并子公司会计处理
  • 一般纳税人拿到小规模的专票
  • 房地产开发项目手册备案
  • 偿还不起债务大约能判多少年
  • 原材料盘盈审批后冲减
  • 筹建期间取得的专用发票怎么入账
  • 公司进货可以计提折旧吗
  • 建筑劳务公司派遣人员工资发放凭证
  • 投资理财产品的优势和劣势
  • 凭票报销交通费补贴
  • 最新房产税费
  • 关于小规模纳税人的说法错误的有
  • 餐饮发票可以抵扣成本吗
  • 电器以旧换新的套路
  • 提高并购成本
  • 滞纳金入什么会计科目
  • 不开票的收入怎么办
  • 技术转让减免所得额
  • 增值税留抵退税账务处理
  • 应付职工薪酬核算内容不包括
  • 企业与企业之间进行的电子商务模式是
  • 虚拟机系统vmware
  • 外汇账户转账有手续费吗
  • php curlfile
  • 银行本票实际金额小于票面金额
  • PHP:pcntl_wtermsig()的用法_PCNTL函数
  • 固定资产转卖怎么开票
  • 如何用php制作表格
  • 采用汇兑的方式归还前欠货款
  • web期末大作业源代码
  • php使用pclzip类实现文件压缩的方法(附pclzip类下载地址)
  • 会计如何分录
  • vue和react区别大吗
  • react usereducer
  • php dirname函数
  • discuz 移动端
  • 应付账款盘点表
  • 行政性收费和事业性收费 财政局
  • 资产减值损失账户核算内容包括
  • 印花税是根据什么申报的
  • DEDECMSV5.6将软件下载次数直接生成静态
  • 房产税从何时计算缴纳
  • 个税手续费返还要交企业所得税吗
  • 支付宝企业账户怎么注销
  • 退还留抵税额政策解读
  • 厂区地面硬化施工方案
  • 在创业板上市公司首次公开发行股票的条件
  • 内资非独立核算的企业
  • 拆迁补偿怎么算的
  • 预支差旅费怎么记账
  • 应扣未扣税款对纳税人的处理
  • 弱电工程怎么入账
  • 建筑施工企业工程施工明细科目
  • 房地产企业内部控制的现状
  • 支付给其他公司的借款属于什么现金流
  • 取得工程款发票计入什么会计科目里
  • 公司给员工租房没有发票怎么入账
  • 装修公司开劳务费怎么选择税控编码
  • dos下如何安装win7
  • win功能下载所需文件
  • mac清理所有数据
  • linux系统检测
  • 简述linux系统中有哪些文件类型?
  • windows xp sp3 vl
  • w10系统输入法
  • Win10更新后浏览器不能联网怎么办
  • linux源码包
  • 如何解决windows不是正版的问题
  • opengl多级采样消除锯齿有什么用
  • vim三种模式及其之间的切换
  • unity3D游戏开发
  • css filter blur
  • jquery中什么方法用于模拟光标悬停事件
  • 原生js实现ajax步骤
  • python基础入门教程
  • js设计模式有哪些
  • 房租计入待摊费用
  • 定期定额发票使用流程
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设