位置: IT常识 - 正文

Torchtext快速入门(一)——Vocab(torchaudio教程)

编辑:rootadmin
Torchtext快速入门(一)——Vocab

推荐整理分享Torchtext快速入门(一)——Vocab(torchaudio教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:torchtrt,torchtext教程,torch.train,torchaudio教程,torchtext教程,torch教程,torch教程,torch tutorial,内容如对您有帮助,希望把文章链接给更多的朋友!

🧑‍💻 本系列文章采用 Torchtext 0.13.1 版本

目录前言一、创建词典1.1 根据有序字典进行创建1.2 根据可迭代对象进行创建1.2.1 从生成器中创建二、Vocab的用法2.1 获取词元到索引的映射/索引到词元的映射2.2 正/反向查询2.2.1 根据词元查询索引2.2.2 根据索引查询词元2.3 设置默认索引2.4 添加词元2.5 其他用法附录前言

词典(Vocab)是NLP任务中最为重要的工具之一,本文将详细介绍Torchtext中的词典类及其使用方法。

安装Torchtext:

conda install -c pytorch torchtext

导入本文所需要的所有包:

from collections import Counter, OrderedDictfrom torchtext.vocab import vocab, build_vocab_from_iterator一、创建词典

Torchtext中创建词典有两种方法,第一种是根据有序字典(OrderedDict)进行创建,第二种是根据生成器(Generator)/可迭代对象(Iterable)进行创建。

1.1 根据有序字典进行创建

NLP任务中,绝大多数时候 tokens 是一个二维列表,即 tokens[0] 代表一个句子,tokens[0][0] 代表一个词元(单词)。为了使用 Counter() 统计词频,我们需要先将 tokens 展平成一维列表(事实上展平成一维的可迭代对象即可),最常用的方法如下:

from tkinter import _flattentokens = _flatten(tokens) # 这里tokens是一个一维元组,是可迭代对象

如果 tokens 本身就是个一维列表,则 _flatten(tokens) 仍然会返回一维元组,因此我们可以总是使用 _flatten(tokens)。

之后我们可以对这个一维可迭代对象使用 Counter() 统计词频,并将其从高到低进行过排序

>>> tokens = [["I", "am", "very", "happy"], ["I", "seem", "to", "have", "lost", "something"]]>>> sorted(Counter(_flatten(tokens)).items(), key=lambda x: x[1], reverse=True)[('I', 2), ('am', 1), ('very', 1), ('happy', 1), ('seem', 1), ('to', 1), ('have', 1), ('lost', 1), ('something', 1)]

可以看出输出结果是形如 List[Tuple[str, int]] 这样的类型,我们可以根据此结果来构造有序字典

tokens = [["I", "am", "very", "happy"], ["I", "seem", "to", "have", "lost", "something"]]ordered_dict = OrderedDict(sorted(Counter(_flatten(tokens)).items(), key=lambda x: x[1], reverse=True))print(ordered_dict)# OrderedDict([('I', 2), ('am', 1), ('very', 1), ('happy', 1), ('seem', 1), ('to', 1), ('have', 1), ('lost', 1), ('something', 1)])

然后基于有序字典创建词典

v = vocab(ordered_dict)print(type(v))# <class 'torchtext.vocab.vocab.Vocab'>

⚠️ 这里的 vocab() 是一个函数,创建得到的 v 是 Vocab 类的实例。第二章节我们会详细介绍 Vocab 类的用法。

我们还可以向 vocab() 函数传入其他参数。例如如果一词元的出现次数低于 2 就丢弃,则可设置

v = vocab(ordered_dict, min_freq=2)

在NMT(机器翻译)任务中,我们往往需要一些特殊词元,这时可以使用 specials 参数进行指定

v = vocab(ordered_dict, min_freq=2, specials=['<pad>', '<unk>', '<bos>', '<eos>'])

此时这些特殊词元会被添加到词表的最上方。如果需要将特殊词元添加到词表的最下方,则可指定

v = vocab(ordered_dict, min_freq=2, specials=['<pad>', '<unk>', '<bos>', '<eos>'], special_first=False)1.2 根据可迭代对象进行创建

根据可迭代对象创建词典需要用到以下函数

build_vocab_from_iterator(iterator: Iterable, min_freq: int = 1, specials: Optional[List[str]] = None, special_first: bool = True, max_tokens: Optional[int] = None)

接下来重点讲解第一个和最后一个参数。

首先 iterator 是一个可迭代对象,观察 build_vocab_from_iterator 源码的 9~11 行可知(见本文附录),Counter 的实例每次会 update iterator 中的一个元素,而 Counter 的 update 方法源码如下:

def update(self, iterable=None, /, **kwds): if iterable is not None: if isinstance(iterable, _collections_abc.Mapping): if self: self_get = self.get for elem, count in iterable.items(): self[elem] = count + self_get(elem, 0) else: # fast path when counter is empty super().update(iterable) else: _count_elements(self, iterable) if kwds: self.update(kwds)Torchtext快速入门(一)——Vocab(torchaudio教程)

这说明 iterator 中的每一个元素仍是一个可迭代对象,所以我们可以直接向 iterator 传入二维列表 tokens,如下:

tokens = [["I", "am", "very", "happy"], ["I", "seem", "to", "have", "lost", "something"]]v = build_vocab_from_iterator(tokens)print(v.get_stoi())# {'to': 7, 'seem': 5, 'very': 8, 'something': 6, 'lost': 4, 'have': 3, 'happy': 2, 'am': 1, 'I': 0}

我们还可以指定词典的大小(算上特殊词元的大小)

v = build_vocab_from_iterator(tokens, max_tokens=3)print(v.get_stoi())# {'happy': 2, 'am': 1, 'I': 0}

⚠️ max_tokens 不能小于特殊词元的数量,否则词典中将只含特殊词元。

1.2.1 从生成器中创建

假如 ./data.txt 中的内容为

I am very happyI seem to have lost something

则我们可以构造一个生成器,然后使用它来创建词典。

def yield_tokens(path): with open(path) as f: for line in f.readlines(): yield line.strip().split()v = build_vocab_from_iterator(yield_tokens("./data.txt"))二、Vocab的用法

无论使用 vocab() 函数还是 build_vocab_from_iterator() 函数,返回的结果都是一个 Vocab 实例。

2.1 获取词元到索引的映射/索引到词元的映射

获取词元到索引到映射(字典)

tokens = [['a', 'a', 'b'], ['c', 'c', 'd', 'd', 'd']]v = build_vocab_from_iterator(tokens, specials=['<pad>', '<unk>'])print(v.get_stoi())# {'b': 5, 'd': 2, '<pad>': 0, '<unk>': 1, 'c': 4, 'a': 3}

获取索引到词元的映射(列表)

print(v.get_itos())# ['<pad>', '<unk>', 'd', 'a', 'c', 'b']2.2 正/反向查询2.2.1 根据词元查询索引

根据单个词元查询其索引

print(v['a'])# 3

根据多个词元查询它们对应的索引(常用)

print(v(['c', 'd', '<unk>']))# [4, 2, 1]2.2.2 根据索引查询词元

根据单个索引查询其词元

print(v.lookup_token(4))# c

根据多个索引查询它们对应的词元

print(v.lookup_tokens([0, 5, 2]))# ['<pad>', 'b', 'd']2.3 设置默认索引

在实际应用中,我们难免会遇到OOV(Out Of Vocabulary)词元,这时如果直接查询其索引会报错

print(v['f'])# RuntimeError: Token f not found and default index is not set

因此我们需要设置一个默认索引,所有OOV词元都会被映射到该索引上。通常来讲,我们会将默认索引设置为未知词元的索引,即

v.set_default_index(v['<unk>'])print(v['f'])# 1

如果要获取默认索引,可调用 get_default_index() 方法。

2.4 添加词元

如果一个词元不在词典当中,我们可以将其追加到词典的末尾

v.append_token('e')print(v.get_stoi())# {'b': 5, 'd': 2, '<pad>': 0, '<unk>': 1, 'e': 6, 'c': 4, 'a': 3}

除了追加到末尾之外,我们还可以在词典中的任意位置插入新词元,此时需要同时提供词元和索引

v.insert_token('e', 3)print(v.get_stoi())# {'b': 6, 'c': 5, 'e': 3, 'd': 2, '<pad>': 0, '<unk>': 1, 'a': 4}2.5 其他用法

获取词典大小

print(len(v))# 6

判断词元是否在词典当中

print('c' in v)# Trueprint('k' in v)# False附录

vocab 函数源码:

def vocab(ordered_dict: Dict, min_freq: int = 1, specials: Optional[List[str]] = None, special_first: bool = True) -> Vocab: specials = specials or [] for token in specials: ordered_dict.pop(token, None) tokens = []# Save room for special tokens for token, freq in ordered_dict.items(): if freq >= min_freq: tokens.append(token) if special_first: tokens[0:0] = specials else: tokens.extend(specials) return Vocab(VocabPybind(tokens, None)) # 这里的VocabPybind是C++对象

build_vocab_from_iterator 函数源码:

def build_vocab_from_iterator( iterator: Iterable, min_freq: int = 1, specials: Optional[List[str]] = None, special_first: bool = True, max_tokens: Optional[int] = None,) -> Vocab: counter = Counter() for tokens in iterator: counter.update(tokens) specials = specials or [] # First sort by descending frequency, then lexicographically sorted_by_freq_tuples = sorted(counter.items(), key=lambda x: (-x[1], x[0])) if max_tokens is None: ordered_dict = OrderedDict(sorted_by_freq_tuples) else: assert len(specials) < max_tokens, "len(specials) >= max_tokens, so the vocab will be entirely special tokens." ordered_dict = OrderedDict(sorted_by_freq_tuples[:max_tokens - len(specials)]) word_vocab = vocab(ordered_dict, min_freq=min_freq, specials=specials, special_first=special_first) return word_vocab
本文链接地址:https://www.jiuchutong.com/zhishi/299056.html 转载请保留说明!

上一篇:如何通过nodejs快速搭建一个服务器(nodejs如何使用)

下一篇:【SpringMVC】集成Web、MVC执行流程、数据响应、数据交互(spring集成xfire)

  • 云闪付怎么查看完整的银行卡号(云闪付怎么查看银行卡流水)

    云闪付怎么查看完整的银行卡号(云闪付怎么查看银行卡流水)

  • 小米8支持wifi6吗(小米8支持wifi 6吗)

    小米8支持wifi6吗(小米8支持wifi 6吗)

  • 微博好友圈怎么设置(微博好友圈怎么添加不了人)

    微博好友圈怎么设置(微博好友圈怎么添加不了人)

  • mac分区合并不了(mac硬盘分区合并不了)

    mac分区合并不了(mac硬盘分区合并不了)

  • 在抖音怎么抢红包(抖音怎么抢红包福袋才容易抢到)

    在抖音怎么抢红包(抖音怎么抢红包福袋才容易抢到)

  • 电脑开机停在正在启动windows(电脑开机停在正在关机)

    电脑开机停在正在启动windows(电脑开机停在正在关机)

  • 微信更新解析包错误什么意思(微信更新解析包怎么弄)

    微信更新解析包错误什么意思(微信更新解析包怎么弄)

  • iqooneo电池掉的太快(iqooneo5电池掉电快)

    iqooneo电池掉的太快(iqooneo5电池掉电快)

  • 腾讯视频在哪找好友(腾讯视频在哪找二维码登录)

    腾讯视频在哪找好友(腾讯视频在哪找二维码登录)

  • kindle青春版和咪咕版区别(kindle青春版和咪咕版哪个好)

    kindle青春版和咪咕版区别(kindle青春版和咪咕版哪个好)

  • 手机avi文件怎么播放(手机avi文件怎么传到电脑)

    手机avi文件怎么播放(手机avi文件怎么传到电脑)

  • 微信置顶文字别人能看到吗(微信的置顶文字别人能看见吗)

    微信置顶文字别人能看到吗(微信的置顶文字别人能看见吗)

  • 微信怎么扫码登录(微信怎么扫码登录到另外一个手机)

    微信怎么扫码登录(微信怎么扫码登录到另外一个手机)

  • klo bugreport是什么软件(klo bugreport可以卸载吗)

    klo bugreport是什么软件(klo bugreport可以卸载吗)

  • word选项卡是什么(word摘要选项卡在哪)

    word选项卡是什么(word摘要选项卡在哪)

  • 华为mate20支持视频来电吗

    华为mate20支持视频来电吗

  • 苹果的时间规划局在哪里(苹果的时间规划怎么设置)

    苹果的时间规划局在哪里(苹果的时间规划怎么设置)

  • 苹果手机数据怎么转移到电脑上(苹果手机数据怎么删除干净)

    苹果手机数据怎么转移到电脑上(苹果手机数据怎么删除干净)

  • 华为密码保险箱在哪(华为密码保险箱怎么添加应用)

    华为密码保险箱在哪(华为密码保险箱怎么添加应用)

  • 手机硅胶壳松如何变紧(硅胶手机壳松了还有救吗)

    手机硅胶壳松如何变紧(硅胶手机壳松了还有救吗)

  • 小米手机72小时密码怎么关闭(小米手机72小时输一次密码能不能关闭)

    小米手机72小时密码怎么关闭(小米手机72小时输一次密码能不能关闭)

  • iQOO Neo的快充是多少(iqoo neo5的快充协议)

    iQOO Neo的快充是多少(iqoo neo5的快充协议)

  • 一体手机进水不停重启(一体手机进水不能充电)

    一体手机进水不停重启(一体手机进水不能充电)

  • 最新win1020h2系统扫描磁盘蓝屏死机无法开机怎么办(window10最新20h2)

    最新win1020h2系统扫描磁盘蓝屏死机无法开机怎么办(window10最新20h2)

  • 织梦同一页面调用多个相同的js联动菜单(织梦的首页怎么换图片)

    织梦同一页面调用多个相同的js联动菜单(织梦的首页怎么换图片)

  • 劳务公司一般纳税人要交什么税
  • 投资收益纳税调整明细表怎么填
  • 已经抵扣的进项税额转出怎么申报
  • 销售材料的会计分录在实务第几章节
  • 权益法核算转成本法
  • 发票红冲需要做账吗
  • 六种无形资产有什么
  • 申报成功忘记清关怎么办
  • 个人所得税定期定额起征点
  • 公司抬头的发票
  • 过路费可以入账吗
  • 未达起征点是什么
  • 计提代扣代缴个人缴纳的社会保险费分录
  • 滴滴出行发票可以抵扣进项税吗
  • 个人工资薪金所得税怎么查
  • 保险中介的保险可以买吗
  • 酒店代金券使用规则
  • 无形资产的初始计量和后续计量
  • 普票丢失的最新处理2019
  • 财务软件中摊销怎么做账
  • 公司代扣的社保怎么做分录
  • 资产负债表里应交税费里都包含什么
  • 个人技术服务费增值税税率是多少啊
  • 小规模纳税人补开发票如何申报增值税
  • 环评费属于固定资产吗
  • 固定资产改造更新是否需要计提折旧
  • 认定为虚开进项发票我的业务是真实的
  • windows怎么禁用网络
  • 研发支出怎么做账
  • 建筑公司购买材料需要写备注
  • 广告业财政拨款包括哪些
  • win11 insider preview怎么升级正式版
  • 设置系统自动更新一般通过什么窗口
  • rapimgr.exe - rapimgr进程是什么文件.有哪些作用
  • php关联数组转索引数组
  • 公司资产转让要交多少税
  • vue3全局属性
  • 票据贴现业务如何核算
  • 从价计征房产税如何计算
  • 法定盈余公积金达到注册资本的多少时不再提取
  • 使用二氧化碳灭火器时人应该站在什么位置
  • 业务招待费调增后仍然亏损
  • codeignitor
  • htmlcss导航栏网页
  • 与http缓存有关的header
  • python2 tkinter
  • 电子发票如何发邮箱给别人
  • 存货盘亏原因不明会计分录
  • 商业承兑汇票贴现什么意思
  • 三票合一的发票什么意思
  • 什么是保函保证金
  • 商品损耗科目
  • 工程项目买保险需要哪些资料
  • 应收账款项目期末余额怎么计算
  • 社保金的滞纳金个人承担吗?
  • 坏账准备确认坏账
  • 损益明细表计提企业所得税
  • Windows下mysql5.7.18安装配置教程
  • sqlserver存储过程实例详解
  • crossfire.exe是什么
  • linux如何加载动态库
  • centos 6.0
  • linux用户相关命令
  • window10的ie
  • qt for 安卓
  • python怎么学啊
  • 分享一些常用的文件
  • Highcharts+NodeJS搭建数据可视化平台示例
  • android怎么保存项目
  • Android 摄像头预览卡顿
  • 深入理解ts
  • unity教程完整版
  • 安卓数据网络
  • 纳税人类型税码是什么
  • 辽宁省耕地占用税税率
  • 工程开具增值税专用发票
  • 税务登记时必须要填银行账号吗
  • 深圳国委
  • 安徽马鞍山税务局体检名单
  • 国,地税纳税申报表是什么
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设