位置: 编程技术 - 正文

linux下hadoop配置过程(hadoop开发环境linux集群的安装步骤)

编辑:rootadmin
1,安装linux 本文假设从裸机开始,所以要先装linux。本人是ubuntu对支持者,所以装的是ubuntu,废话没有,很容易就装好了。在安装过程中,要注意所有节点对主机名应该有规律,比如node0, node1, node2 ... 2,准备 下面对软件对安装,全都使用了apt,这个软件需要互联网链接,如果你对网速极慢,或者根本链接不到外部网络(这个现象在教育网内很常见),可以从一个能上网对ubuntu电脑上的/var/cache/apt/archives文件夹里deb文件出来安装(什么?你问我这个文件夹里为什么没有想要的包,这个文件夹是apt对缓存文件夹,想要里面有你想要对东西,不用我提醒你应该怎么办了吧)。 ubuntu默认已经装好了openssh-client,需要安装openssh-server。命令如下: 复制代码代码如下: sudo apt-get install openssh-server 然后是jdk: 复制代码代码如下: sudo apt-get install default-jdk 3,配置网络 如果你的节点们可以通过dhcp服务器获得ip,我个人建议,这样做,原因是简单,不用怎么配置就搞定了。或者可以使用静态ip,作为一个牛b的linux大牛,应该可以通过一行命令来设置静态ip,但是我不会。我通常都是在gnome提供的网络管理器来设ip对。如果你用对linux里没有图形界面,那样请google。 设置好了ip地址之后,记忆在/etc/hosts文件中给每个节点起个名字,最好就是各自对主机名,这样有利于下面对配置和管理。 hadoop要求各节点间可以不需要输入密码就能用ssh互相登录。我使用了比官方方法简单一点方法来设置,但是据说安全性有点儿问题。下面是方法: 在某个节点上执行如下命令: 复制代码代码如下: rm -rf ~/.ssh 复制代码代码如下: ssh-keygen -t rsa 这个命令之后需要多按几次回车,知道再次出现命令提示符。当然,这个做法也不是很安全,里面有个输入key的地方,官方的建议是,输入一首歌的歌词,呵呵,这个建议很搞笑。当然在我的步骤中,这个key就是空值了。 复制代码代码如下: cat ~/.ssh/id_rsa.pub >> authorized_keys 然后把整个.ssh文件夹考到所有对节点上,具体方法可以使用scp命令,具体命令由于和具体环境有关,下面不写。 这样网络就设置对差不多了。 4,安装hadoop 解压,这个比较简单,命令不写。解压对位置最好每个hadoop都一样,不一样有什么后果,我没试过。 之后要进行一些配置,首先进入解压后目录对conf文件夹,要修改对配置文件包括hadoop-env.sh hadoop-site.xml masters slaves hadoop-env.sh中要uncomment下面一行: 复制代码代码如下: export JAVA_HOME=/home/hadoop/jdk1.6.0_/ 当然具体的值,也要根据具体情况进行更改。 接下来是hadoop-site.xml,下面是我的文件内容。 复制代码代码如下: <configuration> <property> <name>fs.default.name</name> <value> </property> <property> <name>mapred.job.tracker</name> <value>node0:</value> </property> </configuratiron> 这个例子很直白,不解释。 masters里面是jobtracker和namenode所在节点的主机名或者ip地址,我的masters文件里只有一行,当然如果你想要设置多个节点作为主节点,也可以。 slaves里面是所有tasktracker和datanode对主机名或ip地址。 5,运行 先进入hadoop安装文件夹。然后依次运行如下命令: 复制代码代码如下: bin/hadoop namenode -format bin/start-all.sh 不出意外的话,现在hadoop就可以使用了。 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

推荐整理分享linux下hadoop配置过程(hadoop开发环境linux集群的安装步骤),希望有所帮助,仅作参考,欢迎阅读内容。

linux下hadoop配置过程(hadoop开发环境linux集群的安装步骤)

文章相关热门搜索词:linux hadoop环境配置,hadoop_home配置,linux中hadoop的环境搭建,hadoop_home配置,hadooplinux搭建,linux中hadoop的环境搭建,linux中hadoop的环境搭建,linux hadoop配置,内容如对您有帮助,希望把文章链接给更多的朋友!

Ubuntu中安装samba服务器创建文件共享的方法及普通用户设置共享的问题解析 装系统时设置的那个唯一的用户,他拥有sudo权限和其它的所有默认权限(默认已在sambashare),当然,最高的仍然是root(注意root和管理员的区别)。在u

Ubuntu Server下建立VPN服务器的方法 我们知道,VPN有很多种,比如WindowsServer系列自己就带了VPN服务器,安装配置都非常简单,而今天我要在日志中介绍部署的,是Linux下的VPN-Server,基于PPTP

Ubuntu下部分网站不能正常访问的解决方法 再次搜索,终于找到Ubuntu中文社区pirate童鞋给出的解决方案:复制代码代码如下:#linux打开友善之臂论坛方法sudovim/etc/sysctl.conf//在这个文件最下面加入

标签: hadoop开发环境linux集群的安装步骤

本文链接地址:https://www.jiuchutong.com/biancheng/356368.html 转载请保留说明!

上一篇:Fedora 13 Final DVD ISO系统下载

下一篇:Ubuntu中安装samba服务器创建文件共享的方法及普通用户设置共享的问题解析(ubuntu中安装vim)

  • 电子设备租赁费专票税率
  • 所得税费用属于什么科目借贷方向
  • 用现金支付需要附哪些单据
  • 待抵扣进项税额转入进项税额
  • 装订需要多长时间
  • 报关单和发票不符怎么办
  • 营改增后税额计算公式
  • 仓储业有哪些
  • 契税与印花税能抵扣吗
  • 旧税号开出的发票能认证抵扣吗?
  • 股权转让个人所得税
  • 企业所得税退税怎么做账务处理
  • 停车场企业所得税税率
  • 超过三个月开发票
  • 结转增值税的计算公式
  • 企业发放防暑降温物品依据
  • 专项资金需要交印花税吗
  • 应收账款确认无法收回
  • 未开票的增值税发票能验旧吗
  • 代理记账公司收费标准
  • 房租发票税金谁承担
  • 资询服务收入算服务还是劳务
  • 月不超过10万,季不超过30万免什么税
  • 开了红字发票销售方应怎么账务处理?
  • 办公费定义
  • c盘显示隐藏
  • php函数返回值类型
  • 如何在windows11中安装google play
  • 检验费用会计分录
  • 往来款作为投资款的影响
  • nerosmartstart.exe - nerosmartstart是什么进程 作用是什么
  • 财务报表的组成部分
  • cpqdfwag.exe是什么进程 能结束吗 cpqdfwag进程查询
  • 清晨暴雨的说说
  • php json 对象
  • php 文件上传类型限制
  • 关停所有swap分区的命令
  • 累计减除费用多还是少好
  • 采购员出差预借差旅费
  • yolov5 libtorch
  • 计算机视觉基础知识
  • 一次开票分期确认怎么弄
  • 销售商品的收入属于收入吗
  • 公司法人怎么样才会没有责任
  • 个人住房租赁给公司如何开票
  • 物业公司收的停车费做什么科目
  • 企业小汽车折旧年限
  • 核销单取消后出口收汇流程
  • 原材料基本账务处理办法
  • 个人所得税要计入管理费用吗
  • 公司拨款给个人分录
  • 营业外收入是损益类账户吗
  • 政府对失业人员补贴
  • 培训费发票可以抵扣吗
  • 差旅费账务处理的摘要
  • 增值税专用发票丢了怎么补救
  • 上市公司固定资产增加是好事吗
  • 房地产实收资本怎么算
  • 电子钥匙在线服务
  • 最新商业会计科目做账
  • 管理费怎么扣除
  • mysql5.7.19下载
  • centos6.5下mysql 5.7.19 安装配置方法
  • mysql5.6下载
  • win10选择一个选项
  • linux管道与重定向
  • 安装windows 8.1
  • win10飞行模式开关是灰色的
  • win7自带桌面时钟吗
  • windows7手动更新
  • cocos2dx视频教程
  • Python插件怎么安装
  • 批处理重命名文件名
  • c#中延时
  • jquery自带的弹出框
  • Eclipse和PyDev搭建完美Python开发环境教程(Windows篇)
  • Python3使用requests发闪存的方法
  • 挂车是否需要缴纳车船税
  • 视频号带货个人和个体工商户的区别
  • 企业所得税计算器在线计算
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设