位置: IT常识 - 正文

Elasticsearch基本介绍及其与Python的对接实现(elasticsearch基本概念)

编辑:rootadmin

推荐整理分享Elasticsearch基本介绍及其与Python的对接实现(elasticsearch基本概念),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:elasticsearch基本原理,elasticsearch基础,elasticsearch基本用法,elasticsearch基本概念,elasticsearch基本操作,elasticsearch基本操作,elasticsearch基本语法,elasticsearch基本概念,内容如对您有帮助,希望把文章链接给更多的朋友!

什么是 Elasticsearch

想查数据就免不了搜索,搜索就离不开搜索引擎,百度、谷歌都是一个非常庞大复杂的搜索引擎,他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说,肯定就没必要用这么复杂的技术了,如果我们想实现自己的搜索引擎,方便存储和检索,Elasticsearch 就是不二选择,它是一个全文搜索引擎,可以快速地储存、搜索和分析海量数据。

为什么要用 Elasticsearch

Elasticsearch 是一个开源的搜索引擎,建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。

那 Lucene 又是什么?Lucene 可能是目前存在的,不论开源还是私有的,拥有最先进,高性能和全功能搜索引擎功能的库,但也仅仅只是一个库。要用上 Lucene,我们需要编写 Java 并引用 Lucene 包才可以,而且我们需要对信息检索有一定程度的理解才能明白 Lucene 是怎么工作的,反正用起来没那么简单。

那么为了解决这个问题,Elasticsearch 就诞生了。Elasticsearch 也是使用 Java 编写的,它的内部使用 Lucene 做索引与搜索,但是它的目标是使全文检索变得简单,相当于 Lucene 的一层封装,它提供了一套简单一致的 RESTful API 来帮助我们实现存储和检索。

所以 Elasticsearch 仅仅就是一个简易版的 Lucene 封装吗?那就大错特错了,Elasticsearch 不仅仅是 Lucene,并且也不仅仅只是一个全文搜索引擎。 它可以被下面这样准确的形容:

一个分布式的实时文档存储,每个字段可以被索引与搜索

一个分布式实时分析搜索引擎

能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数据

总之,是一个相当牛逼的搜索引擎,维基百科、Stack Overflow、GitHub 都纷纷采用它来做搜索。

Elasticsearch 的安装

我们可以到 Elasticsearch 的官方网站下载 Elasticsearch:https://www.elastic.co/downloads/elasticsearch,同时官网也附有安装说明。

首先把安装包下载下来并解压,然后运行 bin/elasticsearch(Mac 或 Linux)或者 bin\elasticsearch.bat (Windows) 即可启动 Elasticsearch 了。

我使用的是 Mac,Mac 下个人推荐使用 Homebrew 安装:

brew install elasticsearch

Elasticsearch 默认会在 9200 端口上运行,我们打开浏览器访问

http://localhost:9200/ 就可以看到类似内容:

{"name":"atntrTf","cluster_name":"elasticsearch","cluster_uuid":"e64hkjGtTp6_G2h1Xxdv5g","version":{"number":"6.2.4","build_hash":"ccec39f","build_date":"2018-04-12T20:37:28.497551Z","build_snapshot":false,"lucene_version":"7.2.1","minimum_wire_compatibility_version":"5.6.0","minimum_index_compatibility_version":"5.0.0"},"tagline":"YouKnow,forSearch"}

如果看到这个内容,就说明 Elasticsearch 安装并启动成功了,这里显示我的 Elasticsearch 版本是 6.2.4 版本,版本很重要,以后安装一些插件都要做到版本对应才可以。

接下来我们来了解一下 Elasticsearch 的基本概念以及和 Python 的对接。

Elasticsearch 相关概念

在 Elasticsearch 中有几个基本的概念,如节点、索引、文档等等,下面来分别说明一下,理解了这些概念对熟悉 Elasticsearch 是非常有帮助的。

Node 和 Cluster

Elasticsearch 本质上是一个分布式数据库,允许多台服务器协同工作,每台服务器可以运行多个 Elasticsearch 实例。

单个 Elasticsearch 实例称为一个节点(Node)。一组节点构成一个集群(Cluster)。

Index

Elasticsearch 会索引所有字段,经过处理后写入一个反向索引(Inverted Index)。查找数据的时候,直接查找该索引。

所以,Elasticsearch 数据管理的顶层单位就叫做 Index(索引),其实就相当于 MySQL、MongoDB 等里面的数据库的概念。另外值得注意的是,每个 Index (即数据库)的名字必须是小写。

Document

Index 里面单条的记录称为 Document(文档)。许多条 Document 构成了一个 Index。

Document 使用 JSON 格式表示,下面是一个例子。

同一个 Index 里面的 Document,不要求有相同的结构(scheme),但是最好保持相同,这样有利于提高搜索效率。

Elasticsearch基本介绍及其与Python的对接实现(elasticsearch基本概念)

Type

Document 可以分组,比如 weather 这个 Index 里面,可以按城市分组(北京和上海),也可以按气候分组(晴天和雨天)。这种分组就叫做 Type,它是虚拟的逻辑分组,用来过滤 Document,类似 MySQL 中的数据表,MongoDB 中的 Collection。

不同的 Type 应该有相似的结构(Schema),举例来说,id 字段不能在这个组是字符串,在另一个组是数值。这是与关系型数据库的表的一个区别。性质完全不同的数据(比如 products 和 logs)应该存成两个 Index,而不是一个 Index 里面的两个 Type(虽然可以做到)。

根据规划,Elastic 6.x 版只允许每个 Index 包含一个 Type,7.x 版将会彻底移除 Type。

Fields

即字段,每个 Document 都类似一个 JSON 结构,它包含了许多字段,每个字段都有其对应的值,多个字段组成了一个 Document,其实就可以类比 MySQL 数据表中的字段。

在 Elasticsearch 中,文档归属于一种类型(Type),而这些类型存在于索引(Index)中,我们可以画一些简单的对比图来类比传统关系型数据库:

Relational DB -> Databases -> Tables -> Rows -> Columns

Elasticsearch -> Indices -> Types -> Documents -> Fields

以上就是 Elasticsearch 里面的一些基本概念,通过和关系性数据库的对比更加有助于理解。

Python 对接 Elasticsearch

Elasticsearch 实际上提供了一系列 Restful API 来进行存取和查询操作,我们可以使用 curl 等命令来进行操作,但毕竟命令行模式没那么方便,所以这里我们就直接介绍利用 Python 来对接 Elasticsearch 的相关方法。

Python 中对接 Elasticsearch 使用的就是一个同名的库,安装方式非常简单:

pip3 install elasticsearch

官方文档是:https://elasticsearch-py.readthedocs.io/,所有的用法都可以在里面查到,文章后面的内容也是基于官方文档来的。

创建 Index

我们先来看下怎样创建一个索引(Index),这里我们创建一个名为 news 的索引:

fromelasticsearchimportElasticsearches=Elasticsearch()result=es.indices.create(index='news',ignore=400)print(result)

如果创建成功,会返回如下结果:

{'acknowledged':True,'shards_acknowledged':True,'index':'news'}

返回结果是 JSON 格式,其中的 acknowledged 字段表示创建操作执行成功。

但这时如果我们再把代码执行一次的话,就会返回如下结果:

{'error': {'root_cause': [{'type': 'resource_already_exists_exception', 'reason': 'index [news/QM6yz2W8QE-bflKhc5oThw] already exists', 'index_uuid': 'QM6yz2W8QE-bflKhc5oThw', 'index': 'news'}], 'type': 'resource_already_exists_exception', 'reason': 'index [news/QM6yz2W8QE-bflKhc5oThw] already exists', 'index_uuid': 'QM6yz2W8QE-bflKhc5oThw', 'index': 'news'}, 'status': 400}

它提示创建失败,status 状态码是 400,错误原因是 Index 已经存在了。

注意这里我们的代码里面使用了 ignore 参数为 400,这说明如果返回结果是 400 的话,就忽略这个错误不会报错,程序不会执行抛出异常。

假如我们不加 ignore 这个参数的话:

es=Elasticsearch()result=es.indices.create(index='news')print(result)

再次执行就会报错了:

raiseHTTP_EXCEPTIONS.get(status_code,TransportError)(status_code,error_message,additional_info)elasticsearch.exceptions.RequestError:TransportError(400,'resource_already_exists_exception','index[news/QM6yz2W8QE-bflKhc5oThw]alreadyexists')

这样程序的执行就会出现问题,所以说,我们需要善用 ignore 参数,把一些意外情况排除,这样可以保证程序的正常执行而不会中断。

删除 Index

删除 Index 也是类似的,代码如下:

fromelasticsearchimportElasticsearches=Elasticsearch()result=es.indices.delete(index='news',ignore=[400,404])print(result)

这里也是使用了 ignore 参数,来忽略 Index 不存在而删除失败导致程序中断的问题。

如果删除成功,会输出如下结果:

{'acknowledged': True}

如果 Index 已经被删除,再执行删除则会输出如下结果:

{'error':{'root_cause':[{'type':'index_not_found_exception','reason':'nosuchindex','resource.type':'index_or_alias','resource.id':'news','index_uuid':'_na_','index':'news'}],'type':'index_not_found_exception','reason':'nosuchindex','resource.type':'index_or_alias','resource.id':'news','index_uuid':'_na_','index':'news'},'status':404}

这个结果表明当前 Index 不存在,删除失败,返回的结果同样是 JSON,状态码是 400,但是由于我们添加了 ignore 参数,忽略了 400 状态码,因此程序正常执行输出 JSON 结果,而不是抛出异常。

插入数据

Elasticsearch 就像 MongoDB 一样,在插入数据的时候可以直接插入结构化字典数据,插入数据可以调用 create() 方法,例如这里我们插入一条新闻数据:

fromelasticsearchimportElasticsearches=Elasticsearch()es.indices.create(index='news',ignore=400)data={'title':'美国留给伊拉克的是个烂摊子吗','url':'http://view.news.qq.com/zt2011/usa_iraq/index.htm'}result=es.create(index='news',doc_type='politics',id=1,body=data)print(result)

这里我们首先

本文链接地址:https://www.jiuchutong.com/zhishi/303196.html 转载请保留说明!

上一篇:js创建对象的5种方式(js创建对象的三种方式)

下一篇:phpcms是个什么东西(phpcms是什么框架)

  • 增值税专用发票抵扣期限
  • 股权转让中土地房产占比较大时怎么交税
  • 结转所得税的会计分录是什么
  • 税务师证书图片
  • 资产负债表应收账款等于什么
  • 当地外包公司是干什么的
  • 原材料进口关税怎么算
  • 长期股权投资权益法下初始投资成本
  • 转账支票支付购货款填制什么凭证
  • 应收留抵税额退税款科目是资产类
  • 保险公司多赔付的钱需要退还吗
  • 进项票超过180天还可以认证吗
  • 附注的主要作用
  • 银行卡的概念和特点
  • 筹建期如何界定
  • 转让股权应具备什么条件
  • 无偿赠与钱要交税吗
  • 年薪超过12万交多少税
  • 盈余公积为0说明什么问题
  • 应纳税所得额是开票金额吗
  • 小规模纳税人减征额怎么计算
  • 无形资产有使用期限
  • 报税时利润表没写怎么办
  • 小规模纳税人如何转一般纳税人
  • mac隔空投送文件位置
  • win10开机选择系统%1
  • 出租方的维修义务
  • uefi系统安装win7gho
  • 默认网关不可用频繁掉线
  • 兼职劳务费税率是多少
  • thinkphp limit
  • 在win7系统中文件属性有哪些
  • 分包工程的税金怎样处理
  • 短期借款利息的核算不可能涉及的账户是
  • 出售解除监管协议书
  • 部署文档
  • 悬崖边上的门
  • 应付账款账户的期初贷方余额100元
  • 承接旅游业务
  • uniapp components
  • 报税扣款锁定怎么处理
  • 应付职工薪酬账户期末余额可能是
  • 免税收入是否入成本科目
  • 完美破解什么意思
  • 上年度会计凭证怎么填写
  • 在建工程怎么做账务处理
  • 现金流量表现金净增加额负数
  • mysql存储引擎的作用
  • 增值税期末留抵退税原因采集确认单
  • 印花税城建税教育费附加等其他税种的纳税申报
  • 工程预付款入账
  • 当月无销售要计提工资吗
  • 付给农民的土地使用费
  • 普通发票的开具是怎样?
  • 如何提取工会经费的钱
  • 购入固定资产一次性税前扣除
  • 多张不同固定资产卡片可汇总生成一张固定资产凭证
  • sql server查询指定内容
  • 用SQL脚本读取Excel中的sheet数量及名称的方法代码
  • 全民用车app下载
  • mac截图快捷键设置
  • srvload.exe - srvload是什么进程
  • 苹果电脑怎么下魔兽争霸
  • windows8.1使用指南
  • win7arm
  • cocos2d游戏源码
  • node文件目录
  • shell exec重定向
  • js怎么做网页
  • 巨幕prime
  • jQuery 判断JSON
  • Node.js中的全局变量有哪些
  • shell动态显示
  • javascript常用函数大全
  • opencv识别结果输出
  • js函数详解
  • 北京增值税普通发票图片
  • 企业所得税年度申报表A类
  • 河南省国家税务局发票查询官网
  • 广西税务查询
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设