位置: IT常识 - 正文

Torchtext快速入门(一)——Vocab(torchaudio教程)

编辑:rootadmin
Torchtext快速入门(一)——Vocab

推荐整理分享Torchtext快速入门(一)——Vocab(torchaudio教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:torchtrt,torchtext教程,torch.train,torchaudio教程,torchtext教程,torch教程,torch教程,torch tutorial,内容如对您有帮助,希望把文章链接给更多的朋友!

🧑‍💻 本系列文章采用 Torchtext 0.13.1 版本

目录前言一、创建词典1.1 根据有序字典进行创建1.2 根据可迭代对象进行创建1.2.1 从生成器中创建二、Vocab的用法2.1 获取词元到索引的映射/索引到词元的映射2.2 正/反向查询2.2.1 根据词元查询索引2.2.2 根据索引查询词元2.3 设置默认索引2.4 添加词元2.5 其他用法附录前言

词典(Vocab)是NLP任务中最为重要的工具之一,本文将详细介绍Torchtext中的词典类及其使用方法。

安装Torchtext:

conda install -c pytorch torchtext

导入本文所需要的所有包:

from collections import Counter, OrderedDictfrom torchtext.vocab import vocab, build_vocab_from_iterator一、创建词典

Torchtext中创建词典有两种方法,第一种是根据有序字典(OrderedDict)进行创建,第二种是根据生成器(Generator)/可迭代对象(Iterable)进行创建。

1.1 根据有序字典进行创建

NLP任务中,绝大多数时候 tokens 是一个二维列表,即 tokens[0] 代表一个句子,tokens[0][0] 代表一个词元(单词)。为了使用 Counter() 统计词频,我们需要先将 tokens 展平成一维列表(事实上展平成一维的可迭代对象即可),最常用的方法如下:

from tkinter import _flattentokens = _flatten(tokens) # 这里tokens是一个一维元组,是可迭代对象

如果 tokens 本身就是个一维列表,则 _flatten(tokens) 仍然会返回一维元组,因此我们可以总是使用 _flatten(tokens)。

之后我们可以对这个一维可迭代对象使用 Counter() 统计词频,并将其从高到低进行过排序

>>> tokens = [["I", "am", "very", "happy"], ["I", "seem", "to", "have", "lost", "something"]]>>> sorted(Counter(_flatten(tokens)).items(), key=lambda x: x[1], reverse=True)[('I', 2), ('am', 1), ('very', 1), ('happy', 1), ('seem', 1), ('to', 1), ('have', 1), ('lost', 1), ('something', 1)]

可以看出输出结果是形如 List[Tuple[str, int]] 这样的类型,我们可以根据此结果来构造有序字典

tokens = [["I", "am", "very", "happy"], ["I", "seem", "to", "have", "lost", "something"]]ordered_dict = OrderedDict(sorted(Counter(_flatten(tokens)).items(), key=lambda x: x[1], reverse=True))print(ordered_dict)# OrderedDict([('I', 2), ('am', 1), ('very', 1), ('happy', 1), ('seem', 1), ('to', 1), ('have', 1), ('lost', 1), ('something', 1)])

然后基于有序字典创建词典

v = vocab(ordered_dict)print(type(v))# <class 'torchtext.vocab.vocab.Vocab'>

⚠️ 这里的 vocab() 是一个函数,创建得到的 v 是 Vocab 类的实例。第二章节我们会详细介绍 Vocab 类的用法。

我们还可以向 vocab() 函数传入其他参数。例如如果一词元的出现次数低于 2 就丢弃,则可设置

v = vocab(ordered_dict, min_freq=2)

在NMT(机器翻译)任务中,我们往往需要一些特殊词元,这时可以使用 specials 参数进行指定

v = vocab(ordered_dict, min_freq=2, specials=['<pad>', '<unk>', '<bos>', '<eos>'])

此时这些特殊词元会被添加到词表的最上方。如果需要将特殊词元添加到词表的最下方,则可指定

v = vocab(ordered_dict, min_freq=2, specials=['<pad>', '<unk>', '<bos>', '<eos>'], special_first=False)1.2 根据可迭代对象进行创建

根据可迭代对象创建词典需要用到以下函数

build_vocab_from_iterator(iterator: Iterable, min_freq: int = 1, specials: Optional[List[str]] = None, special_first: bool = True, max_tokens: Optional[int] = None)

接下来重点讲解第一个和最后一个参数。

首先 iterator 是一个可迭代对象,观察 build_vocab_from_iterator 源码的 9~11 行可知(见本文附录),Counter 的实例每次会 update iterator 中的一个元素,而 Counter 的 update 方法源码如下:

def update(self, iterable=None, /, **kwds): if iterable is not None: if isinstance(iterable, _collections_abc.Mapping): if self: self_get = self.get for elem, count in iterable.items(): self[elem] = count + self_get(elem, 0) else: # fast path when counter is empty super().update(iterable) else: _count_elements(self, iterable) if kwds: self.update(kwds)Torchtext快速入门(一)——Vocab(torchaudio教程)

这说明 iterator 中的每一个元素仍是一个可迭代对象,所以我们可以直接向 iterator 传入二维列表 tokens,如下:

tokens = [["I", "am", "very", "happy"], ["I", "seem", "to", "have", "lost", "something"]]v = build_vocab_from_iterator(tokens)print(v.get_stoi())# {'to': 7, 'seem': 5, 'very': 8, 'something': 6, 'lost': 4, 'have': 3, 'happy': 2, 'am': 1, 'I': 0}

我们还可以指定词典的大小(算上特殊词元的大小)

v = build_vocab_from_iterator(tokens, max_tokens=3)print(v.get_stoi())# {'happy': 2, 'am': 1, 'I': 0}

⚠️ max_tokens 不能小于特殊词元的数量,否则词典中将只含特殊词元。

1.2.1 从生成器中创建

假如 ./data.txt 中的内容为

I am very happyI seem to have lost something

则我们可以构造一个生成器,然后使用它来创建词典。

def yield_tokens(path): with open(path) as f: for line in f.readlines(): yield line.strip().split()v = build_vocab_from_iterator(yield_tokens("./data.txt"))二、Vocab的用法

无论使用 vocab() 函数还是 build_vocab_from_iterator() 函数,返回的结果都是一个 Vocab 实例。

2.1 获取词元到索引的映射/索引到词元的映射

获取词元到索引到映射(字典)

tokens = [['a', 'a', 'b'], ['c', 'c', 'd', 'd', 'd']]v = build_vocab_from_iterator(tokens, specials=['<pad>', '<unk>'])print(v.get_stoi())# {'b': 5, 'd': 2, '<pad>': 0, '<unk>': 1, 'c': 4, 'a': 3}

获取索引到词元的映射(列表)

print(v.get_itos())# ['<pad>', '<unk>', 'd', 'a', 'c', 'b']2.2 正/反向查询2.2.1 根据词元查询索引

根据单个词元查询其索引

print(v['a'])# 3

根据多个词元查询它们对应的索引(常用)

print(v(['c', 'd', '<unk>']))# [4, 2, 1]2.2.2 根据索引查询词元

根据单个索引查询其词元

print(v.lookup_token(4))# c

根据多个索引查询它们对应的词元

print(v.lookup_tokens([0, 5, 2]))# ['<pad>', 'b', 'd']2.3 设置默认索引

在实际应用中,我们难免会遇到OOV(Out Of Vocabulary)词元,这时如果直接查询其索引会报错

print(v['f'])# RuntimeError: Token f not found and default index is not set

因此我们需要设置一个默认索引,所有OOV词元都会被映射到该索引上。通常来讲,我们会将默认索引设置为未知词元的索引,即

v.set_default_index(v['<unk>'])print(v['f'])# 1

如果要获取默认索引,可调用 get_default_index() 方法。

2.4 添加词元

如果一个词元不在词典当中,我们可以将其追加到词典的末尾

v.append_token('e')print(v.get_stoi())# {'b': 5, 'd': 2, '<pad>': 0, '<unk>': 1, 'e': 6, 'c': 4, 'a': 3}

除了追加到末尾之外,我们还可以在词典中的任意位置插入新词元,此时需要同时提供词元和索引

v.insert_token('e', 3)print(v.get_stoi())# {'b': 6, 'c': 5, 'e': 3, 'd': 2, '<pad>': 0, '<unk>': 1, 'a': 4}2.5 其他用法

获取词典大小

print(len(v))# 6

判断词元是否在词典当中

print('c' in v)# Trueprint('k' in v)# False附录

vocab 函数源码:

def vocab(ordered_dict: Dict, min_freq: int = 1, specials: Optional[List[str]] = None, special_first: bool = True) -> Vocab: specials = specials or [] for token in specials: ordered_dict.pop(token, None) tokens = []# Save room for special tokens for token, freq in ordered_dict.items(): if freq >= min_freq: tokens.append(token) if special_first: tokens[0:0] = specials else: tokens.extend(specials) return Vocab(VocabPybind(tokens, None)) # 这里的VocabPybind是C++对象

build_vocab_from_iterator 函数源码:

def build_vocab_from_iterator( iterator: Iterable, min_freq: int = 1, specials: Optional[List[str]] = None, special_first: bool = True, max_tokens: Optional[int] = None,) -> Vocab: counter = Counter() for tokens in iterator: counter.update(tokens) specials = specials or [] # First sort by descending frequency, then lexicographically sorted_by_freq_tuples = sorted(counter.items(), key=lambda x: (-x[1], x[0])) if max_tokens is None: ordered_dict = OrderedDict(sorted_by_freq_tuples) else: assert len(specials) < max_tokens, "len(specials) >= max_tokens, so the vocab will be entirely special tokens." ordered_dict = OrderedDict(sorted_by_freq_tuples[:max_tokens - len(specials)]) word_vocab = vocab(ordered_dict, min_freq=min_freq, specials=specials, special_first=special_first) return word_vocab
本文链接地址:https://www.jiuchutong.com/zhishi/299056.html 转载请保留说明!

上一篇:如何通过nodejs快速搭建一个服务器(nodejs如何使用)

下一篇:【SpringMVC】集成Web、MVC执行流程、数据响应、数据交互(spring集成xfire)

  • python函数大全及使用(python各种函数)

    python函数大全及使用(python各种函数)

  • 点淘怎么设置小窗口播放(点淘怎么打开)

    点淘怎么设置小窗口播放(点淘怎么打开)

  • vivo x27的智能锁屏怎么取消(vivo门锁)

    vivo x27的智能锁屏怎么取消(vivo门锁)

  • 微处理器能直接识别并执行的命令语言称为(微处理器能直接识别并执行的命令语言是什么)

    微处理器能直接识别并执行的命令语言称为(微处理器能直接识别并执行的命令语言是什么)

  • 手机号码被拉黑的提示(手机号码被拉黑怎么才能打通)

    手机号码被拉黑的提示(手机号码被拉黑怎么才能打通)

  • 华为nova7pro黑白模式怎么关闭(华为nova7pro黑白屏怎么调回彩色)

    华为nova7pro黑白模式怎么关闭(华为nova7pro黑白屏怎么调回彩色)

  • Excel工作界面主要有哪些组成部分(Excel工作界面主要由什么组成)

    Excel工作界面主要有哪些组成部分(Excel工作界面主要由什么组成)

  • ipadmini2版本低不能用微信(ipad mini2ios版本)

    ipadmini2版本低不能用微信(ipad mini2ios版本)

  • 陌陌一直显示对方未读(陌陌显示对方异常什么意思)

    陌陌一直显示对方未读(陌陌显示对方异常什么意思)

  • 承载系统lte打开有什么用(承载系统lte打开不了)

    承载系统lte打开有什么用(承载系统lte打开不了)

  • 苹果自动扣费退款流程(苹果自动扣费退款成功率高吗)

    苹果自动扣费退款流程(苹果自动扣费退款成功率高吗)

  • ic卡读卡器怎么用(ic读卡器怎么使用方法)

    ic卡读卡器怎么用(ic读卡器怎么使用方法)

  • caps是哪个键(caps是哪个键的意思)

    caps是哪个键(caps是哪个键的意思)

  • 占位符可以删除吗(占位符可以输入文本吗)

    占位符可以删除吗(占位符可以输入文本吗)

  • 抖音账号密码忘记了(抖音账号密码忘了怎么注销)

    抖音账号密码忘记了(抖音账号密码忘了怎么注销)

  • 手机卡显示hd什么意思(手机卡显示hd啥意思)

    手机卡显示hd什么意思(手机卡显示hd啥意思)

  • 三星note4怎么设置4g网络(三星note4怎么锁定应用)

    三星note4怎么设置4g网络(三星note4怎么锁定应用)

  • 显示器音响怎么设置(显示器音响怎么连接电脑没声音)

    显示器音响怎么设置(显示器音响怎么连接电脑没声音)

  • 三星s9+防水吗(三星s9+防水吗可以下河游泳吗)

    三星s9+防水吗(三星s9+防水吗可以下河游泳吗)

  • a8x和a10谁强(a8x和a10哪个好)

    a8x和a10谁强(a8x和a10哪个好)

  • 荣耀10青春版怎么开空调(荣耀10青春版怎么恢复出厂设置)

    荣耀10青春版怎么开空调(荣耀10青春版怎么恢复出厂设置)

  • p30pro防水吗(p30pro防水级别多少)

    p30pro防水吗(p30pro防水级别多少)

  • 直播语音冲突怎么设置(直播语音冲突怎么解决)

    直播语音冲突怎么设置(直播语音冲突怎么解决)

  • Win11我的电脑不见了怎么办?Win11桌面图标设置教程(win11我的电脑不在桌面显示)

    Win11我的电脑不见了怎么办?Win11桌面图标设置教程(win11我的电脑不在桌面显示)

  • win10商店怎么用(win10商店在哪打开)

    win10商店怎么用(win10商店在哪打开)

  • 车机系统开发——Android Automotive(安卓车机系统开发)

    车机系统开发——Android Automotive(安卓车机系统开发)

  • Less预处理——混合方法(less预处理器详解)

    Less预处理——混合方法(less预处理器详解)

  • DedeCMS问答ask匿名提问回答的实现方法(匿问我答查人)

    DedeCMS问答ask匿名提问回答的实现方法(匿问我答查人)

  • 个税专项扣除能中途新增
  • 一般纳税人劳务费税率是多少
  • 税后净营业利润和净利润的区别
  • 支付税金怎么算
  • 城建税多少会减免
  • 预收账款可以开票吗
  • 党费奖励需要交个税吗
  • 电子税务局财务负责人实名认证
  • 补交以前年度城建税和滞纳金怎么做账
  • 汇总记账凭证核算组织程序的缺点主要有
  • 对税务机关的加强措施
  • 个人劳务发票怎么交税
  • 公司回购房产契税谁交
  • 现金出资可以吗
  • 事业单位退休人员独生子女费如何发放
  • 企业所得税退税的会计分录怎么做
  • 小规模纳税人代收水电费税率
  • 中标服务费会计科目
  • 合同无效后还能主张违约责任吗
  • 公司注销欠法人款怎么帐务处理?
  • 基建拨款账务处理
  • 向其他股东购买股权
  • 赠送礼品的具体做法有许多技巧和讲究大致涉及
  • 银行承兑汇票保证金是什么意思
  • linux中压缩
  • win11桌面图标如何固定不动
  • 公司自有房屋出租 没有从租计征房产税
  • 营业利润,利润总额的计算公式是
  • 微信小程序完美修真攻略
  • php最好的编程语言
  • 实际收到的货款怎么做账
  • 子公司使用母公司授信
  • moments的用法
  • php进程太多
  • php多级分类
  • 论文可查
  • php中实现文件上传需要用到哪几个函数
  • php数组怎么实现的
  • 还银行贷款怎么做凭证
  • 销售退货和折让是收入吗?吗?
  • 酒店业营业税税率
  • 在建工程怎么做账务处理
  • 资产减值损失借方余额在利润表怎么填列
  • 总分类科目的名称和核算内容
  • 金税盘长期不使用
  • 建筑公司包工包料提供建筑服务
  • 进项税和销项税怎么理解
  • 进口报关费入什么科目
  • 个人出租不动产月租金不超10万免税
  • 财政拨款公司的资金来源
  • 拆迁补偿怎么算的
  • 股东借款转实缴资本
  • 进项转出再转入
  • 现金流量的构成内容
  • 总公司调拨子公司怎么办
  • 应交税费月底怎么结账
  • 增值税年末必须要交吗
  • 出口退税转为免税做账处理
  • 结转已售材料成本6000元
  • 劳动就业失业金怎么申请
  • 企业的固定资产由于技术进步等原因
  • 新成立的公司都是小微企业吗
  • 使用Mysql5.x以上版本出现报错#1929 Incorrect datetime value: '''' for column ''createtime''的快速解决方法
  • ubuntu zed
  • coocareservice.exe是病毒吗
  • win10高分辨率
  • mac使用命令
  • 任务管理器打不开怎么强制关闭电脑程序
  • 使用权资产
  • layui框架中修改用户成功后怎么跳转到登录界面
  • javascriptjs
  • Js组件开发方式
  • dos命令查看磁盘分区
  • 1.常用
  • unity基础包
  • Node.js中的什么模块是用于处理文件和目录的
  • angular script
  • python标准库参考手册
  • 小规模纳税人销售额怎么算
  • 一个人可以申请
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设