位置: IT常识 - 正文

训练自己的GPT2模型(中文),踩坑与经验(训练自己的GPT模型 中文改英文)

编辑:rootadmin
训练自己的GPT2模型(中文),踩坑与经验 GPT2与Bert、T5之类的模型很不一样!!!

推荐整理分享训练自己的GPT2模型(中文),踩坑与经验(训练自己的GPT模型 中文改英文),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:训练自己的语音模型,训练自己的gpt模型有什么用,训练自己的GPT,训练自己的GPT模型 中文改英文,训练自己的gpt模型有什么用,训练自己的GPT模型 中文改英文,训练自己的GPT模型 知识库,训练自己的GPT模型 中文改英文,内容如对您有帮助,希望把文章链接给更多的朋友!

如果你对Bert、T5、BART的训练已经很熟悉,想要训练中文GPT模型,务必了解以下区别!!! 官方文档里虽然已经有教程,但是都是英文,自己实践过才知道有很多坑!!! 中文也有一些教程,但是使用了TextDataset这种已经过时的方法,不易于理解GPT2的真正工作原理。

开门见山说结论,与bert的最主要区别:

GPT2Tokenizer,是以字节为单位的字节对编码,不是以中文的字或词为单位的! 对于英文,GPT2Tokenizer大部分时候是以单词为单位进行切分的,但是对中文则完全不同,有时候2个id代表一个中文字,有时候又是1个?这一奇怪的现象正是因为采用字节对编码的结果。 这也是为什么很多中文GPT使用BertTokenizer作为分词器,因为比较符合直观。GPT2Tokenizer没有默认的【pad_token】,需要自己设置,一般和eos_token设为一样。而且GPT2Tokenizer不会自动在句末增加eos_token,需要自己手动添加,否则模型generate的时候永远不会停下来直到最大长度,因为它不会生成eos_token!!! 而且train的时候需要padding在右边,否则模型永远学不会什么时候停下!!! 而且test的时候需要padding在左边,否则模型生成的结果可能全为eos!!!训练时GPT2的【labels】和【input_ids】是一样的!所以使用的DataCollator不同

与T5的主要区别: 5. generate时的设置不同,因为input本身也是output的一部分,所以最好设置max_new_tokens 6. lm_head层不在model.parameters当中,因为词嵌入矩阵[‘transformer.wte.weight’]和lm_head的weight是参数共享的!而在T5中,只有encoder和decoder的词嵌入矩阵参数共享,lm_head则是一个独立的全连接层。

下面对这几点分别介绍:

1.tokenizer问题 官方介绍:如下 Construct a GPT-2 tokenizer. Based on byte-level Byte-Pair-Encoding. This tokenizer has been trained to treat spaces like parts of the tokens (a bit like sentencepiece) so a word will be encoded differently whether it is at the beginning of the sentence (without space) or not:

from transformers import GPT2Tokenizer tokenizer = GPT2Tokenizer.from_pretrained("gpt2") tokenizer("Hello world")['input_ids'][15496, 995] tokenizer(" Hello world")['input_ids'][18435, 995]

You can get around that behavior by passing add_prefix_space=True when instantiating this tokenizer or when you call it on some text, but since the model was not pretrained this way, it might yield a decrease in performance.

训练自己的GPT2模型(中文),踩坑与经验(训练自己的GPT模型 中文改英文)

总结起来就是:

GPT-2 tokenizer 基于字节对进行编码。更多介绍可以看Byte-Pair-EncodingGPT-2 tokenizer 会把空格视为token的一部分(T5也是如此),例如“hello”与“ hello”的encode结果截然不同你可以设置add_prefix_space,来避免上述情况,但是模型效果会下降

tokenize过程: 由于英文字母转换为字节再转换为单字节字符后和原来是一样的,所以英文tokenize看起来和bert差不多。(单字节字符共有256个,是ascii码的扩充,0-128和ascii码一样,所以不影响英文编码) 然而中文则面目全非,GPT-2 tokenizer的vocab里面看不见一个中文,因为vocab全都是单字节字符的组合。如下图:

那么中文是怎么变成id的呢?中文转换过程如下(这部分比较烦,不看不影响模型的训练) 外部看起来的情况:中文(utf-8)–>字节串(一个中文3个字节)–>每个字节对应一个单字节字符–>单字节字符串–>寻找vocab里对应的子串,进行分词–>转变为input_ids 实际情况:中文(utf-8)–>字节串(一个中文3个字节)–>寻找vocab里对应的子字节串,进行分词–>转变为input_ids 可以看下面例子理解以上过程:

>>> '中国'.encode('utf-8')b'\xe4\xb8\xad\xe5\x9b\xbd'>>> [tokenizer.byte_encoder[b] for b in b'\xe4\xb8\xad\xe5\x9b\xbd']['ä', '¸', 'Ń', 'å', 'Ľ', '½']>>> ''.join(['ä', '¸', 'Ń', 'å', 'Ľ', '½']) 'ä¸ŃåĽ½'>>> tokenizer.tokenize('中国')['ä¸Ń', 'åĽ', '½']>>> tokenizer.convert_tokens_to_ids(['ä¸Ń', 'åĽ', '½'])[40792, 32368, 121]>>> tokenizer.tokenize('ä¸ŃåĽ½')['ä', 'Â', '¸', 'Å', 'ĥ', 'Ã¥', 'Ä', '½', '½']#由于python的encode命令默认使用utf-8编码,而不是单字节字符集,#所以这里将“中国”的分词结果拼回去在分词,结果会不一样>>> tokenizer.byte_decoder['ä'] #此处使用单字节字符集,将'ä'映射为一个字节228 #十进制228对应十六进制0xe4>>> bytearray([228])bytearray(b'\xe4')>>> 'ä'.encode('utf-8') #此处使用默认encode,将'ä'映射为2个字节b'\xc3\xa4'

2.Padding问题 由于gpt是自回归语言模型,理论上来说,是不需要pad的,因为生成的id必须立即接在输入的id后面,中间不能有pad_token。 train的时候需要padding在右边,并在句末加入eos,否则模型永远学不会什么时候停下!!! test的时候需要padding在左边,否则模型生成的结果可能全为eos!!! 但是当一个batch进行generate时时,难免出现输入句子不一样长的情况,所以需要在前面添加pad_token而不是像Bert一样默认添加在后面。 所以generate时需要设置:

tokenizer.pad_token=tokenizer.eos_tokentokenizer.padding_side='left'

train的时候需要设置:

tokenizer.pad_token=tokenizer.eos_tokentokenizer.padding_side='right'#假设text为想要训练的文本,需要在句末加入eostext=text+tokenizer.eos_token

3.训练label问题

对于GPT,训练数据集里没有输入输出的区别,没有question与answer之分。训练时,一整句话,既是input,也是label。所以labels与input_ids 完全一致。举例如下: 假设我希望训练模型,使其能进行如下问答:question:“中国是首都是什么?”answer:“北京” T5:input_ids :“中国是首都是什么?”,labels:“北京” GPT2:input_ids :“中国是首都是什么?北京”,labels:“中国是首都是什么?北京”

当你的数据集已经有question和answer列,那么需要将question和answer拼接在一起,再tokenizer处理为input_ids与attention_mask列

当你的数据集已经有input_ids与attention_mask列,那么就使用 transformers提供的DataCollatorForLanguageModeling即可让dataloader自动生成labels。如下是训练一个epoch的方式:

#dataset已经经过处理,有input_ids与attention_mask列data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)data_loader = DataLoader(dataset, batch_size=batch_size, shuffle=True, collate_fn=data_collator, drop_last=False)# acclelrator包装model, data_loader = accelerator.prepare(model, data_loader)#训练一个epochfor step, batch in enumerate(data_loader): optimizer.zero_grad() outputs = model(**batch) loss = outputs[0] accelerator.backward(loss) optimizer.step()

4.Generate问题

由于模型的config中pad_token一般为None,但在生成一个batch的时候,因为设置了early_stopping=True,所以生成的序列不一样长,难免要用到padding,所以这一项需要设置 :pad_token_id=tokenizer.pad_token_id,使所有生成序列一样长。GPT2生成的结果,max_length表示prompt+generate的总长度,max_new_tokens表示generate的长度,通常我们想要限制的都是generate的长度,input_ids的长度一般不算在内,所以设置 max_length=None, max_new_tokens=256。 T5模型则一般设置max_length,因为decoder部分一般没有前缀。前面提到过的,input需要padding,但需要pad在左边,pad_token一般与eos_token相同,不影响生成结果。由于是生成(test)不是训练,所以input_ids和训练时不同。训练时输入 问题+答案;测试时只输入 问题,不需要提供labels 举个例子,训练时,input_ids是“中国是首都是什么?北京”;测试时,input_ids则为“中国是首都是什么?”,然后模型生成“中国是首都是什么?北京”,需要自己再把后面部分截取出来作为 答案input_ids=tokenizer("中国是首都是什么?")['input_ids']attention_mask=tokenizer("中国是首都是什么?")['attention_mask']generated_ids = model.generate( input_ids=input_ids, attention_mask=attention_mask, min_length=3, max_length=None, max_new_tokens=256, pad_token_id=tokenizer.pad_token_id, repetition_penalty=3.5, length_penalty=2.5, early_stopping=True,)decoded_preds = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)>>> decoded_preds '中国是首都是什么?北京'

总结:别用GPT,GPT不适合微调,只适合娱乐,想做生成任务建议用T5 、OPT、Bloomz等开源的语言模型,采用更优的相对位置编码,也不容易出乱码 (╬ ̄皿 ̄) 而且因为使用字节对编码,generate时极易出现乱码,因为一个中文3字节,而最小的token是2字节。如果编码英文,很合理,编码中文则非常的反直觉,不如bert、T5符合人类的习惯。如果条件允许,可以自己定义新的tokenizer进行训练。

本文链接地址:https://www.jiuchutong.com/zhishi/293061.html 转载请保留说明!

上一篇:【端午安康】 ( © Shutterstock )(端午安康图片)

下一篇:React中实现keepalive组件缓存效果(react keepalive)

  • 微信推广怎么做?(微信引流推广怎么做)

    微信推广怎么做?(微信引流推广怎么做)

  • 微信怎么查新冠疫苗接种记录查询(微信怎么查新冠检测结果)

    微信怎么查新冠疫苗接种记录查询(微信怎么查新冠检测结果)

  • 苹果13自拍镜像怎么调(苹果13自拍镜像怎么设置)

    苹果13自拍镜像怎么调(苹果13自拍镜像怎么设置)

  • 蓝牙仓充电时耳机要拿出来吗(蓝牙仓充电时耳机能用吗)

    蓝牙仓充电时耳机要拿出来吗(蓝牙仓充电时耳机能用吗)

  • 设置群待办是什么意思(群里设置群待办啥意思)

    设置群待办是什么意思(群里设置群待办啥意思)

  • 未绑定有效的安全认证设备(提示未绑定有效的安全设备)

    未绑定有效的安全认证设备(提示未绑定有效的安全设备)

  • 显示2g网络什么意思(显示2g网络什么意思QQ)

    显示2g网络什么意思(显示2g网络什么意思QQ)

  • 拼多多限制推广多久才能恢复(拼多多限制推广多久解封)

    拼多多限制推广多久才能恢复(拼多多限制推广多久解封)

  • 电脑显示睡眠模式怎么回事(电脑显示睡眠模式无视频输入)

    电脑显示睡眠模式怎么回事(电脑显示睡眠模式无视频输入)

  • qq删不了好友怎么办(qq好友删除不掉怎么办)

    qq删不了好友怎么办(qq好友删除不掉怎么办)

  • iphone7p是双扬声器么(iphone7是双扬声器)

    iphone7p是双扬声器么(iphone7是双扬声器)

  • 华为col-al10配置(华为col-al10多少钱一台)

    华为col-al10配置(华为col-al10多少钱一台)

  • honor出厂设置图片还在吗(华为荣耀手机出厂设置在哪里设置)

    honor出厂设置图片还在吗(华为荣耀手机出厂设置在哪里设置)

  • ipad怎么连接音响(ipad如何连接音响蓝牙)

    ipad怎么连接音响(ipad如何连接音响蓝牙)

  • 苹果11优化电池充电什么意思(苹果11优化电池在哪设置)

    苹果11优化电池充电什么意思(苹果11优化电池在哪设置)

  • 如何删除抖音里的作品(如何删除抖音里的收藏)

    如何删除抖音里的作品(如何删除抖音里的收藏)

  • 怎么删除微信大众点评记录(怎么删除微信大号辅助注册的账号)

    怎么删除微信大众点评记录(怎么删除微信大号辅助注册的账号)

  • 手机qq音乐怎么设密码(手机qq音乐怎么控制电脑的qq音乐)

    手机qq音乐怎么设密码(手机qq音乐怎么控制电脑的qq音乐)

  • 网易云私信会显示已读吗(网易云私信会显示地址吗)

    网易云私信会显示已读吗(网易云私信会显示地址吗)

  • 微信运动必须要开网络吗(微信运动必须要开通吗)

    微信运动必须要开网络吗(微信运动必须要开通吗)

  • 一般抢票多久才有结果(抢票多久能抢上)

    一般抢票多久才有结果(抢票多久能抢上)

  • 魔百盒怎么跳过登录(魔百盒 取消)

    魔百盒怎么跳过登录(魔百盒 取消)

  • 抖音水彩滤镜道具在哪里(抖音色彩涟漪滤镜)

    抖音水彩滤镜道具在哪里(抖音色彩涟漪滤镜)

  • 苹果5s怎么录屏幕视频(苹果x怎么录屏)

    苹果5s怎么录屏幕视频(苹果x怎么录屏)

  • vue项目:大屏自适应解决方案(两种)(vue 大屏可视化设计 开源)

    vue项目:大屏自适应解决方案(两种)(vue 大屏可视化设计 开源)

  • dedecms如何将附件上传限制给解除(dedecms转zblog)

    dedecms如何将附件上传限制给解除(dedecms转zblog)

  • 计算企业所得税分录
  • 跨年增值税发票怎么冲红
  • 企业所得税应补退税额怎么计算
  • 取得的股息红利收入计入哪个科目
  • 硬盘录像机开发板
  • 个人所得税B表和C表
  • 印花税购销合同包括哪些
  • 2019年研发费用加计扣除标准
  • 房地产企业购入用于建造商品房的土地使用权
  • 申报扣除的广告费支出须符合哪些条件
  • 暂估入账的原材料有成本差异吗
  • 营改增之前
  • 企业清算时未抵扣的进项税账务处理
  • 企业印花税算法
  • 贴现票据种类
  • 附加税结转的会计分录
  • 居民委员会有没有纳税人识别号吗
  • 金融服务手续费可以抵扣进项税吗
  • 自产产品公益性捐赠可以免征增值税吗
  • 海关专用缴款书怎么认证?
  • 出让和转让的有何区别
  • 多次出库的商品最后一起结账的分录怎么写?
  • 少计提增值税0.01计入营业外
  • 在windows7是一种
  • 平均净资产和净资产
  • 经营租赁方式租入分录
  • win10怎么调出命令行窗口
  • 固定资产增值税税率
  • 电子商票到期后多少天有效?
  • 固态硬盘什么牌子性价比高
  • geeklink 极联科技
  • thinkphp use命名空间
  • 股权转让会记分录
  • 一般纳税人增值税减免政策2023
  • 发票密码什么意思
  • php缩进
  • typescript instanceof
  • anaconda卸载干净
  • easyposer怎么导出
  • 支付给境外个人的服务费
  • 什么叫坏账准备
  • 发票已开不确认收入可以吗?
  • 其他机械和设备修理业包括哪些
  • 固定资产租赁费发票增值税税率
  • 企业境外收入境内申报
  • okhttp源码解读
  • sql2008数据库存放位置
  • 农产品开具发票税率是多少?
  • 收回投资收到的现金占比大说明
  • 实收资本账务处理错误可以调减吗
  • 购买的车位如何做账
  • 无法支付的应付账款摘要怎么写
  • 销售货物物流运输丢失取得赔偿款需要缴纳企业所得税吗
  • 确认收入时,也必须确认资产或债务
  • 存货非正常损失进项税额转出分录
  • 限定性和非限定性资产
  • 连锁店的总部取名
  • 生产成本是费用要素吗
  • 会计总监的薪资是多少
  • winxp如何将两个分区合并成一个分区
  • adobe windows7
  • 深入了解linux内核
  • windows 8.1 (multiple editions)
  • 优质电子书app
  • android模块开发
  • js移动到指定位置
  • 教你用纸折一只会跳的小兔子,非常好玩,小朋友都喜欢
  • python模拟软件
  • 使用jquery实现表单验证
  • shell脚本随机数
  • python中的省略号怎么打
  • javascript的dom
  • JQuery之proxy实现绑定代理方法
  • javascript构造函数可继承父类的构造函数
  • javascript常用语句
  • 陕西电子税务局官网
  • pdf扫描件怎么弄
  • 辽宁省银监局长
  • 怎样在微信小程序里交医保
  • 南京江宁汽车过户手续及费用
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设