位置: IT常识 - 正文

Darts, 双数组Trie 文字处理技术 STPDomain Powered by Discuz!(双重数组)

编辑:rootadmin
Darts, 双数组Trie - 文字处理技术 - STPDomain - Powered by Discuz!Darts, 双数组Trie - 文字处理技术 - STPDomain - Powere

推荐整理分享Darts, 双数组Trie 文字处理技术 STPDomain Powered by Discuz!(双重数组),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:双数组trie树,双数组trie算法解析,dart多维数组,双数组排序,双数组排序,dart 二维数组,双数组数据结构,双数组数据结构,内容如对您有帮助,希望把文章链接给更多的朋友!

Darts, 双数组Trie - 文字处理技术 - STPDomain - Powered by Discuz!

2011-05-19|阅:118转:0|分享腾讯空间人人网开心网新浪微博腾讯微博搜狐空间推荐给朋友举报

双数组trie树的基本构造及简单优化

一、 基本构造

Trie树是搜索树的一种,来自英文单词"Retrieval"的简写,可以建立有效的数据检索组织结构,是中文匹配分词算法中词典的一种常见实现。它本 质上是一个确定的有限状态自动机(DFA),每个节点代表自动机的一个状态。在词典中这此状态包括"词前缀","已成词"等。

双 数组Trie(Double-Array Trie)是trie树的一个简单而有效的实现,由两个整数数组构成,一个是base[],另一个是check[]。设数组下标为i ,如果base,check均为0,表示该位置为空。如果base为负值,表示该状态为词语。Check表示该状态的前一状态,t=base+a, check[t]=i 。

复制代码

下 面举例(源自<<双数组Trie(Double-Array Trie)的数据结构与具体实现>>)来说明用双数组Trie(Double-Array Trie)构造分词算法词典的过程。假定词表中只有“啊,阿根廷,阿胶,阿拉伯,阿拉伯人,埃及”这几个词,用Trie树可以表示为:

我 们首先对词表中所有出现的10个汉字进行编码:啊-1,阿-2,唉-3,根-4,胶-5,拉-6,及-7,廷-8,伯-9,人-10。。对于每一个汉字, 需要确定一个base值,使得对于所有以该汉字开头的词,在双数组中都能放下。例如,现在要确定“阿”字的base值,假设以“阿”开头的词的第二个字序 列码依次为a1,a2,a3……an,我们必须找到一个值i,使得 base[i+a1],check[i+a1],base[i+a2],check[i+a2]……base[i+an],check[i+an]均为 0。一旦找到了这个i,“阿”的base值就确定为i。用这种方法构建双数组Trie(Double-Array Trie),经过四次遍历,将所有的词语放入双数组中,然后还要遍历一遍词表,修改base值。因为我们用负的base值表示该位置为词语。如果状态i对 应某一个词,而且Base=0,那么令Base=(-1)*i,如果Base的值不是0,那么令Base=(-1)*Base。得到双数组如下:

复制代码下标 1234567891011121314Base-14400004-94-11-12-4-14Check0000000222381013词缀啊阿埃阿根阿胶阿拉埃及阿根廷阿拉伯阿拉伯人用 上述方法生成的双数组,将“啊”,“阿”,“埃”,“阿根”,“阿拉”,“阿胶”,“埃及”,“阿拉伯”,“阿拉伯人”,“阿根廷”均视为状态。每个状态 均对应于数组的一个下标。例如设“阿根”的下标为i=8,那么check的内容是“阿”的下标,而base是“阿根廷”的下标的基值。“廷”的序列码为 x=8,那么“阿根廷”的下标为base+x=base[8]+8=12。

复制代码

二、 基本操作与存在问题

1, 查询

trie树的查询过程其实就是一个DFA的 状态转移过程,在双数组中实现起来比较简单:只需按照状态标志进行状态转移即可.例如查询“阿根廷”,先根据“阿”的序列码b=2,找到状态“阿”的下标 2,再根据“根”的序列码d=4找到“阿根”的下标base+d=8,同时根据check[base+d]=b,表明“阿根”是某个词的一部分,可以继续 查询。然后再找到状态“阿根廷”。它的下标为y=12,此时base[y]<0,check[y]=base+d=8,表明“阿根廷”在词表中,查 询完毕。Darts, 双数组Trie  文字处理技术  STPDomain  Powered by Discuz!(双重数组)

复制代码

查询过程中我们可以看到,对于一个词语的查询时间是只与它的长度相关的,也就是说它的时间复杂度为O(1).在汉语中,词语以单字词,双字词居多,超过三字的词语少之又少.因此,用双数组构建的trie树词典查询是理论上中文机械分词中的最快实现。

2, 插入与删除 双数组的缺点在于:构造调整过程中,每个状态都依赖于其他状态,所以当在词典中插入或删除词语的时候,往往需要对双数组结构进行全局调整,灵活性能较差。

将一个词语插入原有的双数组trie树中,相当于对DFA增加一个状态。首先我们应根据查询方法找出该状态本应所处的位置,如果该位置为空,那好办,直接 插入即可。如果该位置不为空。那么我们只好按照构造时一样的方法重新扫描得出该状态已存在的最大前缀状态的BASE值,并由此依次得出该状态后继结点的 BASE值。在这其中还要注意CHECK值的相应变化。

例如说,如果"阿拉根"某一天也成为了一个词,我们要在trie树中插入这一状态。按计算它的位置应在8,但8是一个已成状态.所以我们得重新确定"阿 拉"这一最大已成前缀状态的BASE值.重新扫描得出BASE[10]=11。这样状态15为"阿拉根",且BASE[15]为负(成 词),CHECK[15]=10;状态20为"阿拉佰",且BASE[20]=-4,CHECK=10。

这样的处理其实是非常耗时间的,因为得依次对每一个可能BASE值进行扫描来进行确定最大已成前缀状态的BASE值。这个确定过程在构造时还是基本可以忍 受的,毕竟你就算用上一,两天来构造也没有问题(只要你构造完后可以在效运行即可)。但在插入比较频繁时,如果每次都需要那么长的运行时间,那确实是无法 忍受的。

双数组删除实现比较简单,只需要将删除词语的对应状态设为空即可――即BASE值,CHECK均为设0。但它存在存在一个空间效率的问题.例如,当我们在 上面删除"埃及"这一词语时,状态11被设为空。而状态10则成了一个无用结点――它不成词,而且在插入新词时也不可重用。所以,随着删除的进行,空状态 点和无用状态点不断增多,空间的利用率会不断的降低。

三、 简单优化

优化的基本思路是将双数组trie树构建为一种动态检索方法,从而解决插入和删除所存在的问题。

1, 插入优化 在插入需要确定新的BASE值时,我们是只需要遍历空状态的。非空状态的出现意味着某个BASE值尝试的打败,我们可以完全不必理会。所以,我们可以对所有的空状态构建一个序列,在确定BASE值时只需要扫描该序列即可。 对双数组中的空状态的递增结点r1,r2, …, rm,我们可以这样构建这一空序列: CHECK[ri]=?ri+1 (1 i m?1), CHECK[rm]=?(DA_SIZE+1) 其中r1= E_HEAD,为第一个空值状态对应的索引点。这样我们在确定BASE值时只需扫描这一序列即可。这样就省去了对非空状态的访问时间。

这种方法在空状态并不太多的情况下可以很大程度的提高插入速度。

2, 删除优化 1) 无用结点 对于删除叶结点时产生的无用结点,可以通过依次判断将它们置为空,使得可在插入新词时得以重用。例如,如果我们删除了上例中的"阿根廷",可以看到"阿根"这一状态没有子状态,因此也可将它置为空。而"阿"这一状态不能置空,因为它还有两个子状态。

2) 数组长度的压缩 在删除了一个状态后,数组末尾可能出现的连续空状态我们是可以直接删除的。另外我们还可以重新为最大非空索引点的状态重新确定BASE值,因为它有可能已经由于删除的进行而变小。这们我们可能又得以删除一些空值状态。

本文链接地址:https://www.jiuchutong.com/zhishi/310290.html 转载请保留说明!

上一篇:WordPress 去掉留言中的网址字段(wordpress如何删除导入的主题)

下一篇:WordPress配置谷歌分析(Google Analytics)和Search Console(GSC)教程(wordpress部署到github)

  • 手机注册网易邮箱地址怎么写(手机注册网易邮箱地址)

    手机注册网易邮箱地址怎么写(手机注册网易邮箱地址)

  • ios15相机怎么提取文字(ios15相机新功能怎么使用)

    ios15相机怎么提取文字(ios15相机新功能怎么使用)

  • 电脑搜狗输入法怎么打特殊符号(电脑搜狗输入法怎么设置快捷短语)

    电脑搜狗输入法怎么打特殊符号(电脑搜狗输入法怎么设置快捷短语)

  • 如何将微信的钱转到支付宝(如何将微信的钱转到银行卡)

    如何将微信的钱转到支付宝(如何将微信的钱转到银行卡)

  • 苹果手机怎么恢复微信聊天记录(苹果手机怎么恢复删除的照片)

    苹果手机怎么恢复微信聊天记录(苹果手机怎么恢复删除的照片)

  • 快手多久不登会注销(快手多久不登录会被官方收回)

    快手多久不登会注销(快手多久不登录会被官方收回)

  • qq如何取消头像挂件(qq换不了头像怎么办?)

    qq如何取消头像挂件(qq换不了头像怎么办?)

  • 抖音显示已读是什么意思(抖音显示已读是苹果手机吗)

    抖音显示已读是什么意思(抖音显示已读是苹果手机吗)

  • b站拉黑别人对方知道吗(b站拉黑别人对方还能看到我之前的回复吗)

    b站拉黑别人对方知道吗(b站拉黑别人对方还能看到我之前的回复吗)

  • 微信不绑手机号会封吗(微信不绑手机号有什么风险)

    微信不绑手机号会封吗(微信不绑手机号有什么风险)

  • 电脑可以滚动截屏吗(电脑可以滚动截长屏吗)

    电脑可以滚动截屏吗(电脑可以滚动截长屏吗)

  • ais文件用什么打开(文件ai格式怎么打开)

    ais文件用什么打开(文件ai格式怎么打开)

  • 电池老化怎么办(华为手机电池老化怎么办)

    电池老化怎么办(华为手机电池老化怎么办)

  • 苹果xmax电池容量多大(iphone x x max电池容量)

    苹果xmax电池容量多大(iphone x x max电池容量)

  • return返回到哪里if(return返回的用法)

    return返回到哪里if(return返回的用法)

  • 爱奇艺pc端是什么意思啊(爱奇艺PC端是什么)

    爱奇艺pc端是什么意思啊(爱奇艺PC端是什么)

  • 微信注销了好友还在吗(微信注销了好友能发信息吗)

    微信注销了好友还在吗(微信注销了好友能发信息吗)

  • ie8以上浏览器都有什么(ie8.0以上浏览器是电脑浏览器吗)

    ie8以上浏览器都有什么(ie8.0以上浏览器是电脑浏览器吗)

  • mate20升级emui10方法(华为mate20升级10.1.0.167)

    mate20升级emui10方法(华为mate20升级10.1.0.167)

  • 哈啰单车蓝牙连接异常是什么意思(哈罗单车蓝牙怎么开锁)

    哈啰单车蓝牙连接异常是什么意思(哈罗单车蓝牙怎么开锁)

  • 怎么恢复快手删除过的作品(怎么恢复快手删除的信息)

    怎么恢复快手删除过的作品(怎么恢复快手删除的信息)

  • 微信朋友圈能发多长的视频(微信朋友圈能发原图吗)

    微信朋友圈能发多长的视频(微信朋友圈能发原图吗)

  • 流量g和mb有什么区别(流量g和gb和mb有什么区别)

    流量g和mb有什么区别(流量g和gb和mb有什么区别)

  • SpringBoot整合WebSocket实现后端向前端发送消息(springboot整合websocket怎么接受图片消息)

    SpringBoot整合WebSocket实现后端向前端发送消息(springboot整合websocket怎么接受图片消息)

  • 纳税义务发生时间和申报纳税的时间
  • 投标保证金利息计算起止时间
  • 小型微利企业季度申报
  • 季度所得税资产总额怎么计算
  • 增值税13%税率有哪些
  • 公司基本户如何注销
  • 抵账房好不好
  • 红冲去年的收入怎么做账
  • 商贸公司账目
  • 没有进货发票怎么处罚
  • 股票属于现金及股票吗
  • 如何判断境内企业所得税
  • 一般纳税人企业要交哪些税
  • 减少其他应付款冲费用做以前年度损益调整如何做分录
  • 工程哪些材料可以做
  • 固定资产报废后怎么处理
  • 人力资源部报销购买办公家具款
  • 增值税小规模纳税人减免增值税政策
  • 广告服务类企业有哪些
  • 未抵扣完的进项税额可以跨年抵扣吗
  • 酒店长包房正常打几折
  • 应交税费核算
  • 现在还有短期投资这个科目吗
  • 如何使用windows10自带杀毒
  • 增值税红字发票开具
  • 出口发票汇率按照报关单什么时间计算
  • cachelib
  • 误解苹果
  • 公司融资a轮说明什么
  • 让绿萝疯长的妙招
  • PHP:parse_ini_file()的用法_Filesystem函数
  • 凭证包括几个部分
  • 一亩地是多少平方?
  • 供热企业有哪些
  • Access-Control-Expose-Headers 响应报头、跨域 公开响应头
  • 冲回上年计提费用
  • html制作动画代码
  • 资产负债表各项目年初余额栏内各项数字
  • vue开发环境和生产环境域名配置
  • 前端schema
  • vue前端常见面试题
  • web搜索与挖掘
  • php比较大小的函数
  • 电子商业汇票业务
  • 租赁的房屋再转租出去交几次印花税呢
  • 物流公司账务处理特点
  • 免征增值税的货物
  • 包工包料意思
  • sql server存储过程写法
  • 收据不能入账如何处理
  • 多交增值税可以不退吗
  • 外贸企业进项税转出怎么申报
  • 票已收到、款未付会计分录
  • 建安类资质指什么资质
  • 小型润滑油生产设备要哪些
  • 会计入职新公司
  • 商业企业内部物流的主要作用是保证商品的正常销售
  • 编程经验点滴怎么写
  • sql server的存储方式
  • MySql Error 1698(28000)问题的解决方法
  • 目前用到的两个字符
  • 使用mysql进行模糊查询
  • QuiteRSS: Linux桌面的RSS阅读器 你值得拥有
  • win10周年版
  • windows更新后桌面没反应
  • win7双显示器设置
  • 简述js和jquery的关系
  • 最简单的游戏开发工具
  • shell.epc
  • 被调用的对象已与其客户端断开连接怎么办
  • python的linux
  • 使用一串代码
  • shell脚本的fi
  • 梦见擦窗户框
  • python装饰器与递归算法详解
  • python简要介绍
  • jquery移动端ui框架
  • 浙江 国家地理
  • 火车报销凭证丢了还能退款吗
  • 广州代理记账公司地址
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设