位置: IT常识 - 正文

知识图谱的构建及可视化(知识图谱的构建方法有两种)

编辑:rootadmin
知识图谱的构建及可视化 知识图谱

推荐整理分享知识图谱的构建及可视化(知识图谱的构建方法有两种),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:知识图谱的构建包含4个步骤,知识图谱的构建不包括什么步骤,知识图谱的构建过程,知识图谱的构建方法有两种,知识图谱的构建方式,知识图谱的构建步骤,知识图谱的构建方法有两种,知识图谱的构建方式有哪两种,内容如对您有帮助,希望把文章链接给更多的朋友!

知识图谱Knowledge Graph/Vault,又称科学知识图谱,用各种不同的图形等可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。采用图结构来描述知识,建模事物及事物间关系。提供了一种组织、管理和认知理解海量信息的能力。

一、图谱的本质

其本质是一种大规模语义网络,既包含了丰富的语义信息,又天然具有图的各种特征,其中,事物或实体属性值表示为“节点”,事物之间的关系或属性表示为“边”。节点可以是实体,如一个人、一部电影等,或是抽象的概念,如人工智能、知识图谱等。边可以是实体的属性,如姓名、电影名,或是实体之间的关系,如朋友、配偶。 知识图谱定义为G={E ,R ,F } 其中,E,R 和 F 分别表示实体、关系、事实的集合。 事实被定义为一个三元组 ( h,r,t )∈F ,其中,h 和 t 分别代表头实体和尾实体,r 代表头尾实体间的关系. 下图是名著《水浒传》的一个知识图谱片段。节点表示实体,边表示关系。 三元组(宋江, 结拜, 武松)表达了宋江与武松是结拜兄弟的事实。 图1 知识图谱片段

二、图谱的构建

知识图谱的构建技术分自顶向下和自底向上两种。 自顶向下构建:借助百科类网站等结构化数据源,从高质量数据中提取本体和模式信息,加入到知识库里。 自底向上构建:借助一定的技术手段,从公开采集的数据中提取出资源模式,选择其中置信度较高的信息,加入到知识库中。

2.1图谱的原始数据类型

原始数据类型一般来说分三类: 结构化数据(Structed Data),如:关系数据库、链接数据 半结构化数据(Semi-Structured Data),如:XML、JSON、百科 非结构化数据(Unstructured Data),如:图片、音频、视频

2.2图谱的主要研究内容

知识图谱的主要研究内容包括知识抽取、知识推理 、知识表示、知识融合 4 部分。目前被广泛应用于多个行业领域。

2.2.1知识抽取

知识抽取是从不同来源、结构的数据中提取知识,形成结构化数据存入知识图谱。对于结构化和半结构化的数据,可以直接利用映射、转换等操作。但对于非结构化数据而言,知识抽取较为困难。一般知识抽取任务包括命名实体识别、关系抽取(实体属性抽取、实体关系抽取)等。早期是基于规则、词典和人工标注等方法进行命名实体识别,随着人工智能的发展,如隐马尔可夫算法、条件随机场、卷积神经网络等这一类的机器学习、深度学习算法成为主流方法。关系抽取主要有递归神经网络、长短期记忆模型、远程监督等方法。

2.2.2知识推理知识图谱的构建及可视化(知识图谱的构建方法有两种)

知识推理是从已有的知识中推理实体间可能存 在的关系或属性值.知识图谱通常是不完整 的。例如,实体间路径缺失、实体属性值缺失 等。因此,知识推理常用于知识图谱补全(knowledge graph completion),也可用于知识图 谱去噪(knowledge graph cleaning)等任务。

2.2.3知识表示

知识表示是对现实世界的一种抽象表达。知识表示方式主要分为符号表示和数值表示,符 号表示 , 如 , 网 络 本 体 语 言 (ontology wed language, OWL) 、 RDF(resource description framework)等,符号表示方便易于理解,但基本符号性质使 KG 难以操作。因此,提出了知识 图谱嵌入(knowledge graph embedding, KGE)或知识表示学(knowledge representation learning, KRL)方法,将知识图谱的实体和关系嵌入到连续向量空间中,从而实现对其语义信息和固有结构的表示。

2.2.4知识融合

知识融合是将从不同来源得到的同一实体或概念的描述信息融合起来。描述信息可以是同 种类型,也可以是不同类型。例如,图片、文字、音频、视频等。

图2 图谱相关研究算法

三、图谱的存储与可视化

知识图谱主要有两种储存方式: 1.可以通过 RDF(资源描述框架)的规范存储格式来进行存储,比较常用的有 Jena等。

<RDF> <Description about="https://www.123.org/RDF/"> <author>Mia</author> <homepage> http://www.date.tech </homepage> </Description></RDF>

2.使用图数据库来进行存储,目前主流的图形数据库有OrientDB, JanusGraph, Neo4j, Trinity等。其中Neo4j发展最迅猛,行业认可度最高。Neo4j是一款稳健的、可伸缩的高性能图数据库,它支持完整的ACID特性,即原子性(Atomicity)、一致性(Consistency),隔离性(Isolation)、持久性(Durability),最适合完整的企业级项目部署。

四、Neo4j的介绍与使用

Neo4j可以分为四层:查询层、编译层、执行层和数据层。 查询层 :Neo4j自身提供查询语言Cypher,但需专业人员操作。支持各种主流的编程语言对其操作,如Java python等。用户可以编写API接口来实现输入自然语言查询,也可以调用复杂查询接口进行查询。 编译层 :将查询层接收到的自然语言转化为机器语言并传递给下一层执行,利用优化器可以对查询语句进行优化,提高查询效率。 执行层 :执行层中的事务管理是对数据的增删查改操作进行管理,Neo中的数据是以节点和边构成的图谱网络,对数据的管理就变成了对节点或边的操作,如增加一条数据只需在图谱中添加一个节点(Node)和一条边((Edge),具有高度可扩展性和高可用性。另外,Neo4j的Import数据导入方式能够以每秒数十万节点的高速率数据批量导入,

4.1 Neo4j的安装详见参考资料24.2 Neo4j的批量导入

批量导入工具 neo4j-import,位于neo4j的bin目录下。

常用参数

–into:数据库名称 –bad-tolerance:能容忍的错误数据条数(即超过指定条数程序直接挂掉),默认1000 –multiline-fields:是否允许多行插入(即有些换行的数据也可读取) –nodes:插入节点 –relationships:插入关系 更多参数可在cmd输入 neo4j-import 查看 数据准备:在excel中生成三个csv数据文件,并存放到neo4j安装目录的import文件夹下 启动 neo4j,浏览器打开http://localhost:7474/,在图中此处输入Cypher命令

# 1.导入电影表LOAD CSV FROM 'file:///movies.csv' AS line CREATE (:Movie { movieId: line[0], title: line[1], year: toInteger(line[2]), tag:line[3] });# 2.导入演员表LOAD CSV FROM 'file:///actors.csv' AS line CREATE (:Actor { personId: line[0], name: line[1], type:line[2] });# 3.导入关联表LOAD CSV FROM 'file:///roles.csv' AS lineMATCH (from:Movie{movieId:line[2]}),(to:Actor{personId:line[0]})MERGE (from)-[r:ACTED_IN{role:line[1]}]-> (to);

注:neo4j-import是为初次导入数据准备的,数据库目录必须是不存在的。 这里体现了neo4j-import工具的一个缺点,所有数据只能导入一次,如果之后想补充数据,只能删除库再导入。

参考资料

1.nlp-知识图谱简介 2.知识图谱构建-Neo4j的安装与环境配置 3.Neo4j:入门基础(二)之导入CSV文件 4. neo4j 使用 load csv 命令导入csv数据,并生成节点、关系

本文链接地址:https://www.jiuchutong.com/zhishi/300412.html 转载请保留说明!

上一篇:vue项目遇见事件冒泡如何处理(vue事件bus)

下一篇:2023美国大学数学建模美赛春季赛Z题思路详细代码(美国大学数学系排名)

  • 小微企业要做企业年金吗
  • 分公司可以计提安全生产费吗
  • 模具发票如何入账
  • 其他权益投资公允价值变动怎么计量
  • pos机手续费开什么发票啊
  • 以旧换新帐务处理
  • 预缴增值税是否要预缴印花税
  • 建筑业未开票收入情况说明
  • 高新技术企业如何查询
  • 怎么认证财付通
  • 购税控盘账务处理
  • 企业借个人款该交税吗
  • 股息红利个人所得税扣税失败
  • 销项发票遗失怎么办
  • 滞留票的进项税能抵扣吗
  • 购买理财产品会损失本金吗
  • 普通股资本成本计算方法
  • 会展服务服务费怎么是免税
  • 现金折扣发票如何开具
  • 购进材料再销售怎么会计分录
  • 个人向公司借贷需要交税吗
  • 预提长期借款利息的会计分录怎么写
  • 考后审核是什么时候
  • PHP CURL或file_get_contents获取网页标题的代码及两者效率的稳定性问题
  • 股票的交易费用是怎么算的
  • 新win10浏览器
  • linux format命令
  • PHP:Memcached::getAllKeys()的用法_Memcached类
  • PHP:oci_fetch_array()的用法_Oracle函数
  • zmweb.exe是什么进程
  • PHP:imagelayereffect()的用法_GD库图像处理函数
  • 税款滞纳金会计处理
  • 外贸公司出口退税率是多少
  • 原生微信小程序面试题
  • 基于transformers的nlp入门 pdf
  • 局部规划算法
  • php返回数组
  • phpcms怎么样
  • Python运算符的优先级别
  • 垃圾费放在哪个会计科目
  • 退货的会计处理分录
  • 公交充值卡发票在哪里开
  • 个人所得税经营所得税申报表A表
  • 财务报销中的冲销是啥意思
  • 医院出的收据就是发票吗
  • mongodb数据查询
  • 换电脑了怎么办
  • 增值税普票如何开具红字发票
  • 在SQL Server中使用存储过程的优点包括
  • 使用SQL查询学生的姓名
  • MYSQL的select 学习笔记
  • 减值准备需要确认递延所得税资产吗
  • 待报解预算收入什么意思
  • 年底没有取得发票企业所得税
  • 代收代缴的水电费怎么开票
  • 无形资产当月减少当月计提吗
  • 交易性金融资产公允价值变动怎么算
  • 公司中标
  • sql server设置自增
  • 笔记本没有光驱怎么加装固态硬盘
  • 怎么在bios关闭软驱
  • 如何创建一个wifi
  • downloadplus.exe是什么进程 作用是什么 downloadplus进程是安全的吗
  • 制作linux的u盘安装盘
  • Win RT 8.1 Update 3怎么提前更新安装使用?
  • 2021年win10累积更新
  • win7不重装修复系统
  • opengl基础知识
  • androidstudio调用so文件
  • cocos2dx4.0教程
  • cssfixed中浮动
  • python matplotlab
  • macos 升级python
  • jquery动效
  • mongoose操作
  • jquery的筛选
  • js鼠标滚动控制图片缩放
  • 安卓启动器修改
  • eclipse自动生成
  • 一般纳税人业务招待费可以抵扣吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设