位置: IT常识 - 正文

hdfs工作原理(hdfs工作原理图)

编辑:rootadmin

hdfs工作原理如下:
627848343hdfs工作原理(hdfs工作原理图)

  1、客户端通过调用FileSystem对象的open括号来读取希望打开的文件。对于HDFS来说,这个对象是分布式文件系统的一个实例。

  2、DistributedFileSystem通过RPC来调用namenode,以确定文件的开头部分的块位置。对于每一块,namenode返回具有该块副本的datanode地址。此外,这些datanode根据他们与client的距离来排序(根据网络集群的拓扑)。如果该client本身就是一个datanode,便从本地datanode中读取。DistributedFileSystem返回一个FSDataInputStream对象给client读取数据,FSDataInputStream转而包装了一个DFSInputStream对象。

  3、接着client对这个输入流调用read()。存储着文件开头部分的块的数据节点的地址DFSInputStream随即与这些块最近的datanode相连接。

  4、通过在数据流中反复调用read(),数据会从datanode返回client。

  5、到达块的末端时,DFSInputStream会关闭与datanode间的联系,然后为下一个块找到最佳的datanode。client端只需要读取一个连续的流,这些对于client来说都是透明的。

  6、在读取的时候,如果client与datanode通信时遇到一个错误,那么它就会去尝试对这个块来说下一个最近的块。它也会记住那个故障节点的datanode,以保证不会再对之后的块进行徒劳无益的尝试。 client也会确认datanode发来的数据的校验和。如果发现一个损坏的块,它就会在client试图从别的datanode中读取一个块的副本之前报告给namenode。

  7、这个设计的一个重点是,client直接联系datanode去检索数据,并被namenode指引到块中最好的datanode。因为数据流在此集群中是在所有datanode分散进行的。

本文链接地址:https://www.jiuchutong.com/zhishi/199668.html 转载请保留说明!

上一篇:nova5i有nfc吗(nova5i是否有nfc功能)

下一篇:nova4可以开空调吗(华为nova4可以开空调不)

  • 华为鸿蒙HarmonyOS2第四批公测时间(华为鸿蒙harmonyos官网,刷机包,安装到U盘)

    华为鸿蒙HarmonyOS2第四批公测时间(华为鸿蒙harmonyos官网,刷机包,安装到U盘)

  • 公众号原创文章这么玩效果放大十倍!(公众号原创文章怎样改成自己的)

    公众号原创文章这么玩效果放大十倍!(公众号原创文章怎样改成自己的)

  • 佳能怎么退出短片模式(佳能相机怎么退出)

    佳能怎么退出短片模式(佳能相机怎么退出)

  • 蚂蚁心愿钱如何转出(蚂蚁心愿的钱可以直接花么)

    蚂蚁心愿钱如何转出(蚂蚁心愿的钱可以直接花么)

  • 将微处理器内存储器及IO接口连接起来的总线(将微处理器内存储器及io接口连接起来的是)

    将微处理器内存储器及IO接口连接起来的总线(将微处理器内存储器及io接口连接起来的是)

  • 华为荣耀9x屏幕泛白(荣耀9x手机屏幕)

    华为荣耀9x屏幕泛白(荣耀9x手机屏幕)

  • 单反可以录视频吗(单反相机怎么录视频)

    单反可以录视频吗(单反相机怎么录视频)

  • iphonese2支持无线充电吗(苹果se2可以无线)

    iphonese2支持无线充电吗(苹果se2可以无线)

  • 抖音如何提高播放量(抖音如何提高播放次数)

    抖音如何提高播放量(抖音如何提高播放次数)

  • word后退一步快捷键(word怎么后退一步)

    word后退一步快捷键(word怎么后退一步)

  • 电脑更新一半能取消吗(电脑更新一半能开机吗)

    电脑更新一半能取消吗(电脑更新一半能开机吗)

  • 抖音举报别人会显示不(抖音举报别人会通知对方吗)

    抖音举报别人会显示不(抖音举报别人会通知对方吗)

  • oppor9s手机卡顿反应慢怎么办(oppor9s手机卡顿最强修复方法)

    oppor9s手机卡顿反应慢怎么办(oppor9s手机卡顿最强修复方法)

  • 平面id软件全称(平面软件设计id)

    平面id软件全称(平面软件设计id)

  • 微信怎么开免提听语音(手机怎样开通微信)

    微信怎么开免提听语音(手机怎样开通微信)

  • vivo手机录制屏幕教程(vivo手机录制屏幕怎么关闭)

    vivo手机录制屏幕教程(vivo手机录制屏幕怎么关闭)

  • 苹果4花屏什么原因(苹果4花屏怎么修复)

    苹果4花屏什么原因(苹果4花屏怎么修复)

  • 华为荣耀9xpro上市时间

    华为荣耀9xpro上市时间

  • 三星smg9650的寸数

    三星smg9650的寸数

  • amoled和oled哪个伤眼(amoled和oled哪个屏幕好)

    amoled和oled哪个伤眼(amoled和oled哪个屏幕好)

  • 移动光猫如何接入路由器(移动光猫如何接路由器)

    移动光猫如何接入路由器(移动光猫如何接路由器)

  • 如何取消黑名单电话设置(如何取消黑名单微信好友)

    如何取消黑名单电话设置(如何取消黑名单微信好友)

  • Linux上的一款EPUB阅读软件(linux 书 推荐)

    Linux上的一款EPUB阅读软件(linux 书 推荐)

  • 多智能体强化学习—QMIX(多智能体概念)

    多智能体强化学习—QMIX(多智能体概念)

  • ps卸载不干净无法安装(ps卸载没反应)

    ps卸载不干净无法安装(ps卸载没反应)

  • 组成计税价格是销售额吗
  • 外出办事车费计入什么科目
  • 残保金季报要填上年职工人数
  • 培训属于什么服务行业
  • 年初的进项税额计算公式
  • 独立核算的优点
  • 怎么处理善意取得的大头小尾发票?
  • 以前借款没做账现在收回来怎么做账务处理?
  • 利息收入红冲怎么做
  • 药店药品成本怎么核算
  • 不良产品出库维护制度
  • 延迟付款确认是怎么回事
  • 赠送给客户
  • 总公司要合并分公司报表吗
  • 研发费用进项税额需要转出吗
  • 合伙企业交个税例题
  • 未承兑的商业汇票什么意思
  • 营改增后城建税怎么算
  • 公司内收取的礼金
  • 工程施工科目月末如何结转
  • ae应用程序无法启动
  • 厂家赠送的商品如何走账
  • linux内核与文件系统
  • pyecharts绘制柱状图动态图
  • 企业年金缴纳标准400什么意思啊
  • 最大规模的科技公司
  • css获取id
  • 国际货运代理公司排名
  • 无形资产商标权摊销
  • 非正常损失的原材料进项税额可以抵扣吗
  • 维保措施及售后服务方案
  • python如何开发系统
  • php安装不上
  • 开票地址必须和营业执照上一样吗少个字号可以吗
  • 固定资产直接进费用表示表示一次性计提折旧
  • 分公司能不能作为行政处罚的主体
  • 代扣代缴附加税减免政策文件
  • 进项3个点销项13个点是需要交10个点的税吗
  • 出口退免税的税种包括增值税消费税企业所得税
  • 未认证发票进项怎么处理
  • 职工困难补助账务处理
  • 财务报表中预收账款
  • 向非关联企业捐赠现金能不能抵扣
  • 小规模汽车维修管理制度
  • 企业资质证书丢失怎么办
  • 成品油 规定
  • 企业应收票据
  • 商业企业所有者的权益
  • 新增注册资金
  • sql server建表时怎样选择数据类型
  • 无法启动diagnostic policy service服务
  • mysql5.5.62安装配置教程
  • win10有三个系统
  • mac桌面日历 记事本
  • 微软发布Win10优化工具
  • win10 Mobile 10586.36预览版更新了哪些内容?
  • win10升级准备就绪需要多久
  • 怎么恢复手机桌面时间和日期
  • 如何搭建react项目
  • bootstrap下拉框设置默认值
  • node运行js文件
  • shell date 设置日期
  • js实现隔行变色
  • javascript 数组
  • javascript基础笔记
  • 获取linux命令执行结果
  • js正则表达式gi
  • 详细解读了
  • nodejs 调用python代码
  • 安卓开发者有多少
  • startactivity()
  • python同一层次的语言必须对齐吗
  • 能用python做什么
  • jquery改变img的src
  • 现在开票可以不去税务局吗
  • 个人工资扣税标准计算
  • 辽宁省耕地占用税税率
  • 税务工商指的是什么
  • 除了增值税还要什么税种
  • 税务全国联网了吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设