位置: IT常识 - 正文

tokenizer.encode、tokenizer.tokenize、tokenizer.encode_plus的用法差异

编辑:rootadmin
tokenizer.encode、tokenizer.tokenize、tokenizer.encode_plus的用法差异  一、tokenizer.encode和tokenizer.tokeninze

推荐整理分享tokenizer.encode、tokenizer.tokenize、tokenizer.encode_plus的用法差异,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

tokenizer.tokenize :先分词,再转成id,直接输出tensor

tokenizer.encode、tokenizer.tokenize、tokenizer.encode_plus的用法差异

tokenizer.encode :直接输出id,需要转换为tensor

sentence = "Hello, my son is cuting."input_ids_method1 = torch.tensor(tokenizer.encode(sentence,add_special_tokens=True)) # tensor([ 101, 7592, 1010, 2026, 2365, 2003, 3013, 2075, 1012, 102])input_token2 = tokenizer.tokenize(sentence)# ['hello', ',', 'my', 'son', 'is', 'cut', '##ing', '.']input_ids_method2 = tokenizer.convert_tokens_to_ids(input_token2)# tensor([7592, 1010, 2026, 2365, 2003, 3013, 2075, 1012])# 并没有开头和结尾的标记:[cls]、[sep]二、tokenizer.encode和tokenizer.encode_plus的区别

普通编码 tokenizer.encode()、增强编码 tokenizer.encode_plus()

tokenizer.encode_plus() 的编码方式比tokenizer.encode()在文本分类上的编码方式要好,在中文分类数据集上会有1个点左右的差别

1、tokenizer.encode仅返回input_ids

2、 tokenizer.encode_plus返回所有的编码信息,具体如下:

’input_ids:是单词在词典中的编码‘token_type_ids’:区分两个句子的编码(上句全为0,下句全为1)‘attention_mask’:指定对哪些词进行self-Attention操作# 编码错配! encode_plus 的编码方式比encode在文本分类上的编码方式要好import torch from transformers import BertTokenizermodel_name =" bert-base-uncase"tokenizer = BertTokenizener.from_pretrained(model_name)sentence= "hello,myson"-----------------------print(tokenizer.encode(sentence))[101, 7592, 1010, 2026, 2365, 2003, 5870, 1012, 102]当tokenizer.encode函数中的add_special_tokens设置为False时,同样不会出现开头和结尾标记:[cls], [sep]-----------------------print(tokenizer.encode_plus(sentence)){'input_ids': [101, 7592, 1010, 2026, 2365, 2003, 5870, 1012, 102], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1]}
本文链接地址:https://www.jiuchutong.com/zhishi/300685.html 转载请保留说明!

上一篇:【创作赢红包】项目信息分析表

下一篇:【Vue 快速入门系列】Vue数据实现本地存储、自定义事件绑定、全局事件总线、$nextTick的使用(vue快速入门与实战开发)

  • 屏幕录制是干嘛用的(屏幕录制干什么用)

    屏幕录制是干嘛用的(屏幕录制干什么用)

  • 群发微信怎么撤回(群发微信如何撤回消息)

    群发微信怎么撤回(群发微信如何撤回消息)

  • 手机不点确定微信电脑能上吗(手机不点确定微信就黑屏)

    手机不点确定微信电脑能上吗(手机不点确定微信就黑屏)

  • 微信号可以改嘛(微信号可以改么)

    微信号可以改嘛(微信号可以改么)

  • 叨叨记账发不出去消息怎么回事(叨叨记账为什么没有导出账单)

    叨叨记账发不出去消息怎么回事(叨叨记账为什么没有导出账单)

  • 手机抖音怎么不看弹幕(手机抖音怎么不能拍照了)

    手机抖音怎么不看弹幕(手机抖音怎么不能拍照了)

  • 苹果7p防水到什么程度(ipone7p防水)

    苹果7p防水到什么程度(ipone7p防水)

  • oled屏幕会漏液吗(oled屏幕漏液是怎么回事)

    oled屏幕会漏液吗(oled屏幕漏液是怎么回事)

  • 电脑显示输入不支持是什么意思(电脑显示输入不支持黑屏怎么办)

    电脑显示输入不支持是什么意思(电脑显示输入不支持黑屏怎么办)

  • 服务与反馈怎么删除(服务与反馈怎么卸载)

    服务与反馈怎么删除(服务与反馈怎么卸载)

  • 超级省电模式怎么关闭(超级省电模式怎么解除)

    超级省电模式怎么关闭(超级省电模式怎么解除)

  • 鲁大师温度检测准确吗(鲁大师温度检测怎么在游戏中显示)

    鲁大师温度检测准确吗(鲁大师温度检测怎么在游戏中显示)

  • 操作系统提供什么api(操作系统提供什么机制支持用户程序并发运行)

    操作系统提供什么api(操作系统提供什么机制支持用户程序并发运行)

  • 淘宝买家三心要多少好评(淘宝买家三颗心)

    淘宝买家三心要多少好评(淘宝买家三颗心)

  • 淘宝匿名购买卖家能看到吗(淘宝上匿名购买是啥意思)

    淘宝匿名购买卖家能看到吗(淘宝上匿名购买是啥意思)

  • 苹果x软件加密怎么设置(苹果x软件加密怎么弄)

    苹果x软件加密怎么设置(苹果x软件加密怎么弄)

  • xp任务栏变宽了怎么办

    xp任务栏变宽了怎么办

  • 华为荣耀7x怎么插卡啊(华为荣耀7x怎么隐藏应用)

    华为荣耀7x怎么插卡啊(华为荣耀7x怎么隐藏应用)

  • 华为智慧屏75寸什么时候上市(华为智慧屏75寸哪个系列最好用)

    华为智慧屏75寸什么时候上市(华为智慧屏75寸哪个系列最好用)

  • 外拨转接是人设置的吗(外拨已转接来电是拉黑的意思吗)

    外拨转接是人设置的吗(外拨已转接来电是拉黑的意思吗)

  • 手机进灰声音小怎么办(手机进灰声音小怎么解决)

    手机进灰声音小怎么办(手机进灰声音小怎么解决)

  • 手机淘宝怎么开网店步骤(手机淘宝怎么开小号)

    手机淘宝怎么开网店步骤(手机淘宝怎么开小号)

  • 快手关注上限能解吗(快手关注上限能突破吗)

    快手关注上限能解吗(快手关注上限能突破吗)

  • linux插入耳机以后没有声音该怎么办?(linux耳机插拔检测)

    linux插入耳机以后没有声音该怎么办?(linux耳机插拔检测)

  • Java Timer(定时器)(java定时器怎么用)

    Java Timer(定时器)(java定时器怎么用)

  • 个税申报的收入扣除社保吗
  • 主营业务收入属于什么类
  • 餐饮业税务申报
  • 专利没有资本化成本如何入账
  • 土地补偿费入什么科目
  • 企业生产过程中执行标准要把握好以下原则
  • 集团财务公司资金管理
  • 成本大于收入可以吗
  • 农产品增值税核定扣除计算
  • 公司购买6个月的保险
  • 进项税发票已经认证但对方又作废
  • 公会经费开具的法律依据
  • 阿里云增值税专用发票
  • 自开租赁费发票税率是多少?
  • 营业执照上能看出来是一般纳税人
  • 有关增值税期末留抵税额的会计分录
  • 建筑分包项目有哪些内容
  • 手工发票何时停止使用的
  • 开票金额开多了,对公司有影响吗
  • 1697508577
  • 工会经费是否可以给非会员使用
  • 客运企业安全费用提取标准
  • php glob
  • .linux文件
  • 农产品销售税收优惠政策
  • 世界十大销量书
  • 摇篮山圣克莱尔湖国家公园
  • 收取包装物押金税率
  • 资产证券化会计信息披露规范
  • 金融企业贷款损失准备金计提比例
  • 农民工的职业培训
  • 巧克力山介绍
  • 企业返聘离退休怎么办
  • 前端实现微信联系人二维码
  • 一般纳税人商业税负多少
  • 一般纳税人在什么情况下,不可以开具增值税专用发票
  • 一般纳税人公司出售旧车怎么开票
  • 没有发票能办临时牌照吗
  • 建筑公司包含哪些业务
  • 超市小票可以作为证据吗
  • 增值税专票三联都丢了写情况说明可以吗
  • BootStrap--selectpicker的使用
  • 进口消费税应该记到什么科目
  • 递延所得税资产和负债怎么计算
  • 盈利和亏损怎么计算
  • 代扣代缴的个税可以税前扣除吗
  • 利息收入应该怎么记账
  • 应交税金为负数应该填在资产负债表哪一栏
  • 公司购买商品房能折旧吗
  • 资金紧张怎么说
  • 委托加工产品消费税税率
  • 两个公司的出纳怎么分账
  • 资本公积转增股本所有者权益会变吗
  • 未计提坏账准备的应收账款
  • 企业注销后账目如何处理
  • 中标服务费计入合同取得成本
  • 企业去银行
  • 维修基金只有收据没有发票吗
  • mysql 常用
  • 所有符合条件x+5的绝对值加x- 2的绝对值等于七的数x
  • macbookair如何恢复系统
  • .exe是什么意思
  • centos怎么样
  • windows使用linux软件
  • Win7系统启动盘
  • linux中make
  • Ghost XP SP3 YN8.0装机版 (雨林木风)
  • python递归函数详解
  • 利用的英文
  • Unity NGUI Tween的用法
  • 控件begininvoke
  • 给个人佣金怎么避税
  • 地税税务稽查管理办法
  • 税务局登记是什么
  • 怎么样开通深圳医保
  • 四川税务稽查举报电话
  • 江苏省国税局客服电话
  • 起诉公司需要法人信息吗
  • 代办营业执照代办人有什么法律责任
  • 提供劳务者受害责任纠纷赔偿案例
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设