位置: 编程技术 - 正文

Python搜索引擎实现原理和方法(python搜索引擎网络爬虫)

编辑:rootadmin

推荐整理分享Python搜索引擎实现原理和方法(python搜索引擎网络爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python搜索引擎网络爬虫,基于python的开源搜索引擎,python 搜索算法,python 搜索算法,python写搜索程序,python写搜索程序,python爬虫搜索引擎,python搜索引擎网络爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

如何在庞大的数据中高效的检索自己需要的东西?本篇内容介绍了Python做出一个大数据搜索引擎的原理和方法,以及中间进行数据分析的原理也给大家做了详细介绍。

布隆过滤器 (Bloom Filter)第一步我们先要实现一个布隆过滤器。

布隆过滤器是大数据领域的一个常见算法,它的目的是过滤掉那些不是目标的元素。也就是说如果一个要搜索的词并不存在与我的数据中,那么它可以以很快的速度返回目标不存在。

让我们看看以下布隆过滤器的代码:

基本的数据结构是个数组(实际上是个位图,用1/0来记录数据是否存在),初始化是没有任何内容,所以全部置False。实际的使用当中,该数组的长度是非常大的,以保证效率。

利用哈希算法来决定数据应该存在哪一位,也就是数组的索引

当一个数据被加入到布隆过滤器的时候,计算它的哈希值然后把相应的位置为True

当检查一个数据是否已经存在或者说被索引过的时候,只要检查对应的哈希值所在的位的True/Fasle

看到这里,大家应该可以看出,如果布隆过滤器返回False,那么数据一定是没有索引过的,然而如果返回True,那也不能说数据一定就已经被索引过。在搜索过程中使用布隆过滤器可以使得很多没有命中的搜索提前返回来提高效率。

我们看看这段 code是如何运行的:

结果:

首先创建了一个容量为的的布隆过滤器

然后分别加入 ‘dog',‘fish',‘cat'三个对象,这时的布隆过滤器的内容如下:

然后加入‘bird'对象,布隆过滤器的内容并没有改变,因为‘bird'和‘fish'恰好拥有相同的哈希。

最后我们检查一堆对象('dog', ‘fish', ‘cat', ‘bird', ‘duck', 'emu')是不是已经被索引了。结果发现‘duck'返回True,2而‘emu'返回False。因为‘duck'的哈希恰好和‘dog'是一样的。

分词

下面一步我们要实现分词。 分词的目的是要把我们的文本数据分割成可搜索的最小单元,也就是词。这里我们主要针对英语,因为中文的分词涉及到自然语言处理,比较复杂,而英文基本只要用标点符号就好了。厦门叉车

下面我们看看分词的代码:

主要分割

Python搜索引擎实现原理和方法(python搜索引擎网络爬虫)

主要分割使用空格来分词,实际的分词逻辑中,还会有其它的分隔符。例如Splunk的缺省分割符包括以下这些,用户也可以定义自己的分割符。

] < >( ) { } | ! ; , ‘ ” * n r s t & &#; + % % % %3B %7C % %2B %3D — % %5D %5B %3A %0A %2C % %

次要分割

次要分割和主要分割的逻辑类似,只是还会把从开始部分到当前分割的结果加入。例如“1.2.3.4”的次要分割会有1,2,3,4,1.2,1.2.3

分词的逻辑就是对文本先进行主要分割,对每一个主要分割在进行次要分割。然后把所有分出来的词返回。

我们看看这段 code是如何运行的:

搜索好了,有个分词和布隆过滤器这两个利器的支撑后,我们就可以来实现搜索的功能了。

上代码:

Splunk代表一个拥有搜索功能的索引集合

每一个集合中包含一个布隆过滤器,一个倒排词表(字典),和一个存储所有事件的数组

当一个事件被加入到索引的时候,会做以下的逻辑

为每一个事件生成一个unqie id,这里就是序号

对事件进行分词,把每一个词加入到倒排词表,也就是每一个词对应的事件的id的映射结构,注意,一个词可能对应多个事件,所以倒排表的的值是一个Set。倒排表是绝大部分搜索引擎的核心功能。

当一个词被搜索的时候,会做以下的逻辑

检查布隆过滤器,如果为假,直接返回

检查词表,如果被搜索单词不在词表中,直接返回

在倒排表中找到所有对应的事件id,然后返回事件的内容

我们运行下看看把:

是不是很赞!

更复杂的搜索

更进一步,在搜索过程中,我们想用And和Or来实现更复杂的搜索逻辑。

上代码:

利用Python集合的intersection和union操作,可以很方便的支持And(求交集)和Or(求合集)的操作。

运行结果如下:

Python中用psycopg2模块操作PostgreSQL方法 其实在Python中可以用来连接PostgreSQL的模块很多,这里比较推荐psycopg2。psycopg2安装起来非常的简单(pipinstallpsycopg2),这里主要重点介绍下如何使用。安

浅谈用Python实现一个大数据搜索引擎 搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能,

从头学Python之编写可执行的.py文件 Python可是真强大。但他具体是怎么强大的,让我们一点一点来了解吧(小编每天晚上下班回家会抽时间看看教程,多充实下自己也是好的)。废话不多

标签: python搜索引擎网络爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/375455.html 转载请保留说明!

上一篇:python输入错误密码用户锁定实现方法(python输入错了怎么办)

下一篇:Python中用psycopg2模块操作PostgreSQL方法(python中用input()函数接收到的数据为)

  • 跨年度调整税金及附加
  • 个税什么会计科目
  • 建筑业增值税税负预警
  • 税务是怎么回事
  • 开票超过定额怎么办
  • 商家为什么要做广告?
  • 工程结算可以转什么科目
  • 本期金额和上期金额怎么填写
  • 公司员工的伙食费计入什么科目
  • 逾期还款银行罚息怎么算
  • 银行汇票应计入什么科目
  • 出口货物退税率查询
  • 贷款和应收款项在活跃市场中没有报价
  • 不开票收入需要什么票据吗
  • 红字发票可用于入账吗
  • 公务用车用油
  • 固定资产折旧在资产负债表属于什么
  • 固定资产停止使用还计提折旧吗
  • 审计调整分录如何处理
  • 建筑服务工程款会计分录
  • 国外消费发票可以抵扣吗
  • 个人以房产投资一人有限公司时,房产要开发票吗
  • mac底部菜单栏不见了快捷键
  • 企业在弥补亏损和提取法定盈余公积前一般不得分配利润
  • 对公账户开户费开户的时候就要交钱吗
  • 最贵的耳机排名
  • 不良贷款转让需遵循的原则
  • 增值税防伪税控系统
  • 事业单位包含哪些
  • 业务招待费的纳税筹划
  • 研发费用税前加计扣除怎么算
  • 如何理解土地使用制度
  • TypeError The view function did not return a valid response. The function either returned None 的解决
  • Python web开发基础教程的心得
  • 微软回应
  • php图片添加水印的方法
  • audit.exe
  • 帝国cms功能
  • 可供出售金融资产和交易性金融资产
  • 依法无需办理税务登记证
  • java io读写
  • 年终奖发放有法律规定吗
  • sql server2000中事务的类型有
  • Sql Server中Substring函数的用法实例解析
  • 商品削价的核算
  • mysql内存使用率过高
  • 零申报公司注销流程
  • 逾期贷款利息收入增值税和企业所得税纳税义务时间
  • 长期挂账的往来款税务处理
  • 装饰设计 工程
  • 公司支付的培训费需要交税吗
  • 飞机票保险发票是什么样子的
  • 电子发票开票方怎么做账?
  • 收到退回的企业所得税如何做账
  • 税控盘反写怎么操作流程
  • 计提资产减值准备会计科目
  • 账簿设制的一般程序
  • sql server无法连接服务器的原因
  • windows web server 2008
  • sqlserver存储过程返回多个结果集
  • linux中的rm是什么意思
  • 微软系统win10
  • linux系统中用户可以分为三种
  • centos6.5安装步骤
  • win8系统升级
  • win10如何设置默认应用语言
  • win7声音方案下载
  • win10老是自动重启是什么原因
  • cocos-2dx
  • js opendialog
  • Linux中获取某个进程的系统调用以及参数(故障排查案例)
  • python控制台怎么用
  • python中验证码校验
  • 怎么利用python爬虫爬数据
  • 请不要重复犯我在学习Python和Linux系统上的错误
  • 文化事业建设费是什么税
  • 税务局打印申报表
  • 发票在地税能查到,但是国税查不到
  • 湖北省税务局税务纪检委员时间
  • 契税维修基金交给谁
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设