位置: IT常识 - 正文

hdfs工作原理(hdfs工作原理图)

编辑:rootadmin

hdfs工作原理如下:
627848343hdfs工作原理(hdfs工作原理图)

  1、客户端通过调用FileSystem对象的open括号来读取希望打开的文件。对于HDFS来说,这个对象是分布式文件系统的一个实例。

  2、DistributedFileSystem通过RPC来调用namenode,以确定文件的开头部分的块位置。对于每一块,namenode返回具有该块副本的datanode地址。此外,这些datanode根据他们与client的距离来排序(根据网络集群的拓扑)。如果该client本身就是一个datanode,便从本地datanode中读取。DistributedFileSystem返回一个FSDataInputStream对象给client读取数据,FSDataInputStream转而包装了一个DFSInputStream对象。

  3、接着client对这个输入流调用read()。存储着文件开头部分的块的数据节点的地址DFSInputStream随即与这些块最近的datanode相连接。

  4、通过在数据流中反复调用read(),数据会从datanode返回client。

  5、到达块的末端时,DFSInputStream会关闭与datanode间的联系,然后为下一个块找到最佳的datanode。client端只需要读取一个连续的流,这些对于client来说都是透明的。

  6、在读取的时候,如果client与datanode通信时遇到一个错误,那么它就会去尝试对这个块来说下一个最近的块。它也会记住那个故障节点的datanode,以保证不会再对之后的块进行徒劳无益的尝试。 client也会确认datanode发来的数据的校验和。如果发现一个损坏的块,它就会在client试图从别的datanode中读取一个块的副本之前报告给namenode。

  7、这个设计的一个重点是,client直接联系datanode去检索数据,并被namenode指引到块中最好的datanode。因为数据流在此集群中是在所有datanode分散进行的。

本文链接地址:https://www.jiuchutong.com/zhishi/199668.html 转载请保留说明!

上一篇:nova5i有nfc吗(nova5i是否有nfc功能)

下一篇:nova4可以开空调吗(华为nova4可以开空调不)

  • 如何记忆消费税15个税目
  • 个人所得税扣缴申报表
  • 公司买金蝶计入什么科目
  • 个人转让土地使用权
  • 收回次月作废的发票需要做账吗
  • 未收回质保金是否需要交纳增值税呢?
  • 员工工资的扣点
  • 特许权使用费预扣预缴计算方法
  • 劳务费发票是几个点的税率
  • 安家费要还吗
  • 印花税计提会计分录
  • 开具电费发票说明
  • 2018年房地产行业分析
  • 一般纳税人增值税怎么做账务处理
  • 公司修理电脑属于什么费用
  • 企业增值税去哪交
  • 费用报销是先记账后付款还是先付款后记账
  • 安全教育经费计算方法
  • 进项税和销项税月末怎么结转
  • 合并报表存货抵消分录第二年
  • 未达起征点销售额怎么填申报表
  • 小规模附加税申报表填写范本
  • 按揭购入固定资产怎么算
  • 小型微利企业收入超过300
  • 电脑美式键盘怎么设置
  • vue项目如何搭建
  • 中国石化开的增值税票是几个点的
  • 上年度第四季度总结
  • 应用程序错误0x000000
  • 预存500抵扣1000是几折活动?
  • linux virt-manager
  • 公司为员工发放生日福利
  • 营业外收支计算公式
  • 个人将房产过户到一人有限公司交什么税
  • yii gridview
  • tensorflow卷积神经网络
  • pytorch jit
  • 在成本了核算工资怎么算
  • 现金流出包括所有股票吗
  • phpcms模块
  • 银行存款调节表调整后的银行存款余额
  • 销售费用福利费和管理费用福利费
  • 小规模开工程款几个点
  • win2008 enterprise R2 x64 中安装SQL server 2008的方法
  • mysql常见故障
  • sqlserver重复数据
  • 深入mysql源码
  • 现金及现金等价物包括哪些科目
  • 对于在某一时点履行的履约义务,企业应当在客户
  • 发票开错没有作废可以红字冲销吗?
  • 职工福利基金提取流程
  • 专票金额和实际报销金额不符
  • 无形资产减值准备
  • 工伤保险交了就可以报销吗
  • 公司按揭贷款
  • 哪些收入属于免增值税
  • 现金流动负债比率越大越好吗
  • 会计常用表格都有哪些技能
  • mysql5.x升级到mysql5.7后导入之前数据库date出错的快速解决方法
  • sqlserver 千万数量级分页存储过程代码
  • 64位CentOs7源码安装mysql-5.6.35过程分享
  • linux 使用技巧
  • win7文件夹怎么显示大小
  • virtualbox开启虚拟化
  • win8wifi设置在哪
  • cocos jsc
  • 巨幕prime
  • javascript 异步操作
  • Android Bound Service(二) ----- Using AIDL
  • iframe的高度自适应
  • unity如何成一组
  • jquery显示div
  • python自动化源码
  • jQuery使用Selectator插件实现多选下拉列表过滤框(附源码下载)
  • javascript教程
  • js如何使用cookie
  • javascript Base类 包含基本的方法
  • 怎么去税务局领税盘
  • 上海自贸区税务大厅地址
  • 香港pcc价格
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设