位置: 编程技术 - 正文

Python搜索引擎实现原理和方法(python搜索引擎网络爬虫)

编辑:rootadmin

推荐整理分享Python搜索引擎实现原理和方法(python搜索引擎网络爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python搜索引擎网络爬虫,基于python的开源搜索引擎,python 搜索算法,python 搜索算法,python写搜索程序,python写搜索程序,python爬虫搜索引擎,python搜索引擎网络爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

如何在庞大的数据中高效的检索自己需要的东西?本篇内容介绍了Python做出一个大数据搜索引擎的原理和方法,以及中间进行数据分析的原理也给大家做了详细介绍。

布隆过滤器 (Bloom Filter)第一步我们先要实现一个布隆过滤器。

布隆过滤器是大数据领域的一个常见算法,它的目的是过滤掉那些不是目标的元素。也就是说如果一个要搜索的词并不存在与我的数据中,那么它可以以很快的速度返回目标不存在。

让我们看看以下布隆过滤器的代码:

基本的数据结构是个数组(实际上是个位图,用1/0来记录数据是否存在),初始化是没有任何内容,所以全部置False。实际的使用当中,该数组的长度是非常大的,以保证效率。

利用哈希算法来决定数据应该存在哪一位,也就是数组的索引

当一个数据被加入到布隆过滤器的时候,计算它的哈希值然后把相应的位置为True

当检查一个数据是否已经存在或者说被索引过的时候,只要检查对应的哈希值所在的位的True/Fasle

看到这里,大家应该可以看出,如果布隆过滤器返回False,那么数据一定是没有索引过的,然而如果返回True,那也不能说数据一定就已经被索引过。在搜索过程中使用布隆过滤器可以使得很多没有命中的搜索提前返回来提高效率。

我们看看这段 code是如何运行的:

结果:

首先创建了一个容量为的的布隆过滤器

然后分别加入 ‘dog',‘fish',‘cat'三个对象,这时的布隆过滤器的内容如下:

然后加入‘bird'对象,布隆过滤器的内容并没有改变,因为‘bird'和‘fish'恰好拥有相同的哈希。

最后我们检查一堆对象('dog', ‘fish', ‘cat', ‘bird', ‘duck', 'emu')是不是已经被索引了。结果发现‘duck'返回True,2而‘emu'返回False。因为‘duck'的哈希恰好和‘dog'是一样的。

分词

下面一步我们要实现分词。 分词的目的是要把我们的文本数据分割成可搜索的最小单元,也就是词。这里我们主要针对英语,因为中文的分词涉及到自然语言处理,比较复杂,而英文基本只要用标点符号就好了。厦门叉车

下面我们看看分词的代码:

主要分割

Python搜索引擎实现原理和方法(python搜索引擎网络爬虫)

主要分割使用空格来分词,实际的分词逻辑中,还会有其它的分隔符。例如Splunk的缺省分割符包括以下这些,用户也可以定义自己的分割符。

] < >( ) { } | ! ; , ‘ ” * n r s t & &#; + % % % %3B %7C % %2B %3D — % %5D %5B %3A %0A %2C % %

次要分割

次要分割和主要分割的逻辑类似,只是还会把从开始部分到当前分割的结果加入。例如“1.2.3.4”的次要分割会有1,2,3,4,1.2,1.2.3

分词的逻辑就是对文本先进行主要分割,对每一个主要分割在进行次要分割。然后把所有分出来的词返回。

我们看看这段 code是如何运行的:

搜索好了,有个分词和布隆过滤器这两个利器的支撑后,我们就可以来实现搜索的功能了。

上代码:

Splunk代表一个拥有搜索功能的索引集合

每一个集合中包含一个布隆过滤器,一个倒排词表(字典),和一个存储所有事件的数组

当一个事件被加入到索引的时候,会做以下的逻辑

为每一个事件生成一个unqie id,这里就是序号

对事件进行分词,把每一个词加入到倒排词表,也就是每一个词对应的事件的id的映射结构,注意,一个词可能对应多个事件,所以倒排表的的值是一个Set。倒排表是绝大部分搜索引擎的核心功能。

当一个词被搜索的时候,会做以下的逻辑

检查布隆过滤器,如果为假,直接返回

检查词表,如果被搜索单词不在词表中,直接返回

在倒排表中找到所有对应的事件id,然后返回事件的内容

我们运行下看看把:

是不是很赞!

更复杂的搜索

更进一步,在搜索过程中,我们想用And和Or来实现更复杂的搜索逻辑。

上代码:

利用Python集合的intersection和union操作,可以很方便的支持And(求交集)和Or(求合集)的操作。

运行结果如下:

Python中用psycopg2模块操作PostgreSQL方法 其实在Python中可以用来连接PostgreSQL的模块很多,这里比较推荐psycopg2。psycopg2安装起来非常的简单(pipinstallpsycopg2),这里主要重点介绍下如何使用。安

浅谈用Python实现一个大数据搜索引擎 搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能,

从头学Python之编写可执行的.py文件 Python可是真强大。但他具体是怎么强大的,让我们一点一点来了解吧(小编每天晚上下班回家会抽时间看看教程,多充实下自己也是好的)。废话不多

标签: python搜索引擎网络爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/375455.html 转载请保留说明!

上一篇:python输入错误密码用户锁定实现方法(python输入错了怎么办)

下一篇:Python中用psycopg2模块操作PostgreSQL方法(python中用input()函数接收到的数据为)

  • 小规模纳税人有增值税吗
  • 关税是价内税还是税外税
  • 知道税负率和收入怎么算进项
  • 12月工资1月发个税怎么算
  • 基本账户可以转移吗
  • 二手车固定资产
  • 计提存货跌价准备怎么计算
  • 软件开发减免的流转税是否缴纳所得税
  • 现金日记账怎么记账借方还是贷方
  • 公司员工个人所得税
  • 长期股权投资减值准备借贷方向
  • 分配利润和分配股利
  • 车间设备维修费计入制造费用吗
  • 进项票超过180天还可以认证吗
  • 一般存款账户可以办理现金缴存
  • 支付的票据承兑手续费计入财务费用
  • 小规模纳税人月销售额不超过10万免征
  • 油票发票可以抵进项税吗
  • 卷式发票属于什么税
  • 契税和增值税的计税依据
  • 电子税务局发送短信异常是怎么回事
  • 华为鸿蒙系统怎么开启
  • 购物卡销售的重点工作是什么
  • 进项加计扣除如何做分录
  • u盘安装win8系统步骤
  • 银行存款调账怎么调
  • 老大心态是什么意思
  • 结转损益和结转成本
  • 应付债券借贷
  • 航天信息服务费发票哪里打印
  • unity导出webgl报错
  • 房地产企业利润
  • 勃朗峰高度
  • 推荐国内免费使用的电影
  • 持续集成的步骤
  • php和python结合
  • 所得税弥补亏损年限10
  • 什么是稳岗补贴是给企业发放吗
  • sql server 2005安装在2016
  • 织梦一直显示上一页和下一页
  • 金蝶标准版怎么查应收应付款
  • 借支差旅费属于什么科目
  • 税盘抵扣怎么做分录
  • 一般纳税人可以给小规模开专票吗
  • 子公司将股权转让给父公
  • 丁字账户例题及解析
  • 弥补以前年度亏损报表怎么填
  • 律师事务所收取费用有标准吗
  • 收到银行开的手续费发票如何做帐
  • 固定资产正常报废与非正常报废的会计处理基本相同
  • 咨询费发票能抵扣吗
  • 负债类科目分录
  • 项目资本金如何确定
  • 香港公司账户收美元要交税吗
  • 事业单位无形资产包括哪些
  • 建筑机械使用安全规范最新版
  • 采购付款的会计控制内容有哪些
  • sqlserver向表中添加数据用什么命令
  • centos 命令
  • win2008ie安全设置
  • centosip配置
  • ffplay播放视频命令
  • win7系统控制面板在哪里打开
  • bootcamp您的磁盘未能分区
  • 如何更改忘记密码中的问题
  • windows执行bat脚本
  • unity udim
  • 基于nodejs的项目
  • linux shell -s
  • js多选
  • android aoa
  • bash特殊符号
  • angularjs常用总结
  • android开发从入门到精通(项目案例版)
  • 2021年水利基金的税率是多少
  • 发票怎能打印
  • 外埠企业如何在经营地缴税
  • 中国有哪些自由贸易港
  • 进项税留抵怎么消化掉
  • 土地增值税采取什么税率
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设