位置: IT常识 - 正文

Darts, 双数组Trie 文字处理技术 STPDomain Powered by Discuz!(双重数组)

编辑:rootadmin
Darts, 双数组Trie - 文字处理技术 - STPDomain - Powered by Discuz!Darts, 双数组Trie - 文字处理技术 - STPDomain - Powere

推荐整理分享Darts, 双数组Trie 文字处理技术 STPDomain Powered by Discuz!(双重数组),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:双数组trie树,双数组trie算法解析,dart多维数组,双数组排序,双数组排序,dart 二维数组,双数组数据结构,双数组数据结构,内容如对您有帮助,希望把文章链接给更多的朋友!

Darts, 双数组Trie - 文字处理技术 - STPDomain - Powered by Discuz!

2011-05-19|阅:118转:0|分享腾讯空间人人网开心网新浪微博腾讯微博搜狐空间推荐给朋友举报

双数组trie树的基本构造及简单优化

一、 基本构造

Trie树是搜索树的一种,来自英文单词"Retrieval"的简写,可以建立有效的数据检索组织结构,是中文匹配分词算法中词典的一种常见实现。它本 质上是一个确定的有限状态自动机(DFA),每个节点代表自动机的一个状态。在词典中这此状态包括"词前缀","已成词"等。

双 数组Trie(Double-Array Trie)是trie树的一个简单而有效的实现,由两个整数数组构成,一个是base[],另一个是check[]。设数组下标为i ,如果base,check均为0,表示该位置为空。如果base为负值,表示该状态为词语。Check表示该状态的前一状态,t=base+a, check[t]=i 。

复制代码

下 面举例(源自<<双数组Trie(Double-Array Trie)的数据结构与具体实现>>)来说明用双数组Trie(Double-Array Trie)构造分词算法词典的过程。假定词表中只有“啊,阿根廷,阿胶,阿拉伯,阿拉伯人,埃及”这几个词,用Trie树可以表示为:

我 们首先对词表中所有出现的10个汉字进行编码:啊-1,阿-2,唉-3,根-4,胶-5,拉-6,及-7,廷-8,伯-9,人-10。。对于每一个汉字, 需要确定一个base值,使得对于所有以该汉字开头的词,在双数组中都能放下。例如,现在要确定“阿”字的base值,假设以“阿”开头的词的第二个字序 列码依次为a1,a2,a3……an,我们必须找到一个值i,使得 base[i+a1],check[i+a1],base[i+a2],check[i+a2]……base[i+an],check[i+an]均为 0。一旦找到了这个i,“阿”的base值就确定为i。用这种方法构建双数组Trie(Double-Array Trie),经过四次遍历,将所有的词语放入双数组中,然后还要遍历一遍词表,修改base值。因为我们用负的base值表示该位置为词语。如果状态i对 应某一个词,而且Base=0,那么令Base=(-1)*i,如果Base的值不是0,那么令Base=(-1)*Base。得到双数组如下:

复制代码下标 1234567891011121314Base-14400004-94-11-12-4-14Check0000000222381013词缀啊阿埃阿根阿胶阿拉埃及阿根廷阿拉伯阿拉伯人用 上述方法生成的双数组,将“啊”,“阿”,“埃”,“阿根”,“阿拉”,“阿胶”,“埃及”,“阿拉伯”,“阿拉伯人”,“阿根廷”均视为状态。每个状态 均对应于数组的一个下标。例如设“阿根”的下标为i=8,那么check的内容是“阿”的下标,而base是“阿根廷”的下标的基值。“廷”的序列码为 x=8,那么“阿根廷”的下标为base+x=base[8]+8=12。

复制代码

二、 基本操作与存在问题

1, 查询

trie树的查询过程其实就是一个DFA的 状态转移过程,在双数组中实现起来比较简单:只需按照状态标志进行状态转移即可.例如查询“阿根廷”,先根据“阿”的序列码b=2,找到状态“阿”的下标 2,再根据“根”的序列码d=4找到“阿根”的下标base+d=8,同时根据check[base+d]=b,表明“阿根”是某个词的一部分,可以继续 查询。然后再找到状态“阿根廷”。它的下标为y=12,此时base[y]<0,check[y]=base+d=8,表明“阿根廷”在词表中,查 询完毕。Darts, 双数组Trie  文字处理技术  STPDomain  Powered by Discuz!(双重数组)

复制代码

查询过程中我们可以看到,对于一个词语的查询时间是只与它的长度相关的,也就是说它的时间复杂度为O(1).在汉语中,词语以单字词,双字词居多,超过三字的词语少之又少.因此,用双数组构建的trie树词典查询是理论上中文机械分词中的最快实现。

2, 插入与删除 双数组的缺点在于:构造调整过程中,每个状态都依赖于其他状态,所以当在词典中插入或删除词语的时候,往往需要对双数组结构进行全局调整,灵活性能较差。

将一个词语插入原有的双数组trie树中,相当于对DFA增加一个状态。首先我们应根据查询方法找出该状态本应所处的位置,如果该位置为空,那好办,直接 插入即可。如果该位置不为空。那么我们只好按照构造时一样的方法重新扫描得出该状态已存在的最大前缀状态的BASE值,并由此依次得出该状态后继结点的 BASE值。在这其中还要注意CHECK值的相应变化。

例如说,如果"阿拉根"某一天也成为了一个词,我们要在trie树中插入这一状态。按计算它的位置应在8,但8是一个已成状态.所以我们得重新确定"阿 拉"这一最大已成前缀状态的BASE值.重新扫描得出BASE[10]=11。这样状态15为"阿拉根",且BASE[15]为负(成 词),CHECK[15]=10;状态20为"阿拉佰",且BASE[20]=-4,CHECK=10。

这样的处理其实是非常耗时间的,因为得依次对每一个可能BASE值进行扫描来进行确定最大已成前缀状态的BASE值。这个确定过程在构造时还是基本可以忍 受的,毕竟你就算用上一,两天来构造也没有问题(只要你构造完后可以在效运行即可)。但在插入比较频繁时,如果每次都需要那么长的运行时间,那确实是无法 忍受的。

双数组删除实现比较简单,只需要将删除词语的对应状态设为空即可――即BASE值,CHECK均为设0。但它存在存在一个空间效率的问题.例如,当我们在 上面删除"埃及"这一词语时,状态11被设为空。而状态10则成了一个无用结点――它不成词,而且在插入新词时也不可重用。所以,随着删除的进行,空状态 点和无用状态点不断增多,空间的利用率会不断的降低。

三、 简单优化

优化的基本思路是将双数组trie树构建为一种动态检索方法,从而解决插入和删除所存在的问题。

1, 插入优化 在插入需要确定新的BASE值时,我们是只需要遍历空状态的。非空状态的出现意味着某个BASE值尝试的打败,我们可以完全不必理会。所以,我们可以对所有的空状态构建一个序列,在确定BASE值时只需要扫描该序列即可。 对双数组中的空状态的递增结点r1,r2, …, rm,我们可以这样构建这一空序列: CHECK[ri]=?ri+1 (1 i m?1), CHECK[rm]=?(DA_SIZE+1) 其中r1= E_HEAD,为第一个空值状态对应的索引点。这样我们在确定BASE值时只需扫描这一序列即可。这样就省去了对非空状态的访问时间。

这种方法在空状态并不太多的情况下可以很大程度的提高插入速度。

2, 删除优化 1) 无用结点 对于删除叶结点时产生的无用结点,可以通过依次判断将它们置为空,使得可在插入新词时得以重用。例如,如果我们删除了上例中的"阿根廷",可以看到"阿根"这一状态没有子状态,因此也可将它置为空。而"阿"这一状态不能置空,因为它还有两个子状态。

2) 数组长度的压缩 在删除了一个状态后,数组末尾可能出现的连续空状态我们是可以直接删除的。另外我们还可以重新为最大非空索引点的状态重新确定BASE值,因为它有可能已经由于删除的进行而变小。这们我们可能又得以删除一些空值状态。

本文链接地址:https://www.jiuchutong.com/zhishi/310290.html 转载请保留说明!

上一篇:WordPress 去掉留言中的网址字段(wordpress如何删除导入的主题)

下一篇:WordPress配置谷歌分析(Google Analytics)和Search Console(GSC)教程(wordpress部署到github)

  • 魅族 18 Pro支持的感应器有哪些(魅族18pro支持多少倍变焦)

    魅族 18 Pro支持的感应器有哪些(魅族18pro支持多少倍变焦)

  • 小红书iphone下载不了(小红书app苹果怎么下载)

    小红书iphone下载不了(小红书app苹果怎么下载)

  • 微商相册企业版是什么(微商相册企业版和个人版)

    微商相册企业版是什么(微商相册企业版和个人版)

  • win10错误代码0xc000000e(win10错误代码0xc0000001进不了安全模式)

    win10错误代码0xc000000e(win10错误代码0xc0000001进不了安全模式)

  • oppo保存视频不在相册(oppoa53手机视频保存不到相册)

    oppo保存视频不在相册(oppoa53手机视频保存不到相册)

  • 图片重命名怎么弄?(图片重命名怎么弄OPPO)

    图片重命名怎么弄?(图片重命名怎么弄OPPO)

  • oppoa9可以开空调吗(oppoa9x可不可以开空调)

    oppoa9可以开空调吗(oppoa9x可不可以开空调)

  • 腾讯会员一定要绑卡吗(腾讯会员一定要绑定QQ吗)

    腾讯会员一定要绑卡吗(腾讯会员一定要绑定QQ吗)

  • 京东开店需要多少保证金(京东开店需要多久才能开)

    京东开店需要多少保证金(京东开店需要多久才能开)

  • 微信关注公众号别人能看到吗(微信关注公众号怎么找)

    微信关注公众号别人能看到吗(微信关注公众号怎么找)

  • 耳机anc什么意思(耳机ac是什么意思)

    耳机anc什么意思(耳机ac是什么意思)

  • 用什么软件可以把照片拼在一起(用什么软件可以查到对方的位置)

    用什么软件可以把照片拼在一起(用什么软件可以查到对方的位置)

  • 抖音每天提现有限额吗(抖音每天提现额度最多是多少)

    抖音每天提现有限额吗(抖音每天提现额度最多是多少)

  • 流量可以打开WiFi打不开(流量可以打开的网站wifi无法连接)

    流量可以打开WiFi打不开(流量可以打开的网站wifi无法连接)

  • 软件系统分为哪两大类(软件系统分为几种类型)

    软件系统分为哪两大类(软件系统分为几种类型)

  • 咸鱼卖家保障如何开通(闲鱼店铺保障)

    咸鱼卖家保障如何开通(闲鱼店铺保障)

  • 红米note8怎么导入联系人(红米note8pro怎么导入联系人)

    红米note8怎么导入联系人(红米note8pro怎么导入联系人)

  • 微信朋友圈一天能删多少(微信朋友圈一天最多能发几条)

    微信朋友圈一天能删多少(微信朋友圈一天最多能发几条)

  • 苹果手机x指纹在哪(苹果手机x指纹怎么设置密码)

    苹果手机x指纹在哪(苹果手机x指纹怎么设置密码)

  • 什么是苹果协议机(什么是苹果协议ID)

    什么是苹果协议机(什么是苹果协议ID)

  • 华为mate30尺寸多大(华为mate30尺寸多大屏幕)

    华为mate30尺寸多大(华为mate30尺寸多大屏幕)

  • Oppo reno的电池容量是多少(opporeno的电池容量在哪里看)

    Oppo reno的电池容量是多少(opporeno的电池容量在哪里看)

  • cad怎么画点绘制点(cad如何绘点)

    cad怎么画点绘制点(cad如何绘点)

  •  猪八戒网客服电话是多少(猪八戒网客户电话)

    猪八戒网客服电话是多少(猪八戒网客户电话)

  • 纳税申报时间和报税时间是什么区别
  • 企业个人所得税税率表2023
  • 必要收益率的取值可以是
  • 外籍人员可以在中国工作吗
  • 代扣代缴增值税计算公式
  • 已申报个税减免什么意思
  • 结转本月发生的费用
  • 会计软件每年都要付钱的吗
  • 企业注销资产负债表年初数要调整吗?
  • 银行存款没有期初余额的总账怎么填
  • 房产公司要交房产税吗
  • 一般纳税人支出的钱没有发票年底怎么处理
  • 安全费用提取使用管理办法2022 136
  • 销售公司车辆如何填报销项税
  • 生产前和生产后经常长喘气怎么回事
  • 我公司只开了普票未开专票是否需要发票认证?
  • 武汉房产税多少
  • 用于当年免征的增值税
  • 结构化存款是什么
  • 外币报表折算差额为负数代表
  • 年终奖扣税标准计算器
  • 支付安装设备所有费用
  • 食品类发票入账属于什么科目
  • 支付银行借款利息可以全额扣除吗
  • 长期应收款在哪一章
  • icon图标教程
  • 企业接受捐赠的税务处理
  • 分页page
  • php中session什么意思
  • python pymongo
  • vue企业开发实战
  • 购买二手设备
  • 社保可以不计提直接缴纳吗
  • 公司的投资利税是什么
  • dedecms仿站如何做
  • python smote算法
  • 已抵扣发票在什么地方查
  • 子公司可以吸收母公司吗
  • 对账小技巧
  • 招待客户的交通费可以算招待费吗
  • 什么人可以申请免税
  • 拆迁补偿款的组成
  • 应收账款逾期什么意思
  • 信用减值损失在利润表怎么填列
  • 净利润递延所得税
  • 企业亏损为什么还继续
  • 手工账月末结账步骤
  • 材料入库单金额写含税价吗
  • 产成品入库的单据是什么
  • 赠送购物券的会计处理
  • 增值税收入的确认时间
  • 暂估收入怎么做分录
  • 会计师事务所工作怎么样
  • 其他非流动资产包括哪些
  • windows ssh-keygen
  • cmd命令行操作
  • linux文件切片命令
  • 怎么删除win系统
  • nfs安装配置
  • soundtrax.exe - soundtrax是什么进程
  • winxp系统界面图片
  • mac设置在哪里设置
  • bootstrap导航都有哪些
  • rsync安装使用详解
  • 在下次启动计算机时会自动关机。重起后恢复正常(“绿色版”)
  • Clean Empty Directories on Unity3D and Git
  • python中pandas.DataFrame的简单操作方法(创建、索引、增添与删除)
  • ie不支持p标签
  • 一块钱买的鱼多久换一次水
  • android摇一摇实现
  • 个人所得税其他公司在为我发放工资
  • 资源税包括哪些
  • 济阳二七大集
  • 江西电子税局
  • 红字专用发票进什么科目
  • 主管税务机构
  • 山东地方税务局官网
  • 辽宁省财政局会计网
  • 车船使用税税
  • 陕西省国家税务局
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设