位置: 编程技术 - 正文

linux下hadoop配置过程(hadoop开发环境linux集群的安装步骤)

编辑:rootadmin
1,安装linux 本文假设从裸机开始,所以要先装linux。本人是ubuntu对支持者,所以装的是ubuntu,废话没有,很容易就装好了。在安装过程中,要注意所有节点对主机名应该有规律,比如node0, node1, node2 ... 2,准备 下面对软件对安装,全都使用了apt,这个软件需要互联网链接,如果你对网速极慢,或者根本链接不到外部网络(这个现象在教育网内很常见),可以从一个能上网对ubuntu电脑上的/var/cache/apt/archives文件夹里deb文件出来安装(什么?你问我这个文件夹里为什么没有想要的包,这个文件夹是apt对缓存文件夹,想要里面有你想要对东西,不用我提醒你应该怎么办了吧)。 ubuntu默认已经装好了openssh-client,需要安装openssh-server。命令如下: 复制代码代码如下: sudo apt-get install openssh-server 然后是jdk: 复制代码代码如下: sudo apt-get install default-jdk 3,配置网络 如果你的节点们可以通过dhcp服务器获得ip,我个人建议,这样做,原因是简单,不用怎么配置就搞定了。或者可以使用静态ip,作为一个牛b的linux大牛,应该可以通过一行命令来设置静态ip,但是我不会。我通常都是在gnome提供的网络管理器来设ip对。如果你用对linux里没有图形界面,那样请google。 设置好了ip地址之后,记忆在/etc/hosts文件中给每个节点起个名字,最好就是各自对主机名,这样有利于下面对配置和管理。 hadoop要求各节点间可以不需要输入密码就能用ssh互相登录。我使用了比官方方法简单一点方法来设置,但是据说安全性有点儿问题。下面是方法: 在某个节点上执行如下命令: 复制代码代码如下: rm -rf ~/.ssh 复制代码代码如下: ssh-keygen -t rsa 这个命令之后需要多按几次回车,知道再次出现命令提示符。当然,这个做法也不是很安全,里面有个输入key的地方,官方的建议是,输入一首歌的歌词,呵呵,这个建议很搞笑。当然在我的步骤中,这个key就是空值了。 复制代码代码如下: cat ~/.ssh/id_rsa.pub >> authorized_keys 然后把整个.ssh文件夹考到所有对节点上,具体方法可以使用scp命令,具体命令由于和具体环境有关,下面不写。 这样网络就设置对差不多了。 4,安装hadoop 解压,这个比较简单,命令不写。解压对位置最好每个hadoop都一样,不一样有什么后果,我没试过。 之后要进行一些配置,首先进入解压后目录对conf文件夹,要修改对配置文件包括hadoop-env.sh hadoop-site.xml masters slaves hadoop-env.sh中要uncomment下面一行: 复制代码代码如下: export JAVA_HOME=/home/hadoop/jdk1.6.0_/ 当然具体的值,也要根据具体情况进行更改。 接下来是hadoop-site.xml,下面是我的文件内容。 复制代码代码如下: <configuration> <property> <name>fs.default.name</name> <value> </property> <property> <name>mapred.job.tracker</name> <value>node0:</value> </property> </configuratiron> 这个例子很直白,不解释。 masters里面是jobtracker和namenode所在节点的主机名或者ip地址,我的masters文件里只有一行,当然如果你想要设置多个节点作为主节点,也可以。 slaves里面是所有tasktracker和datanode对主机名或ip地址。 5,运行 先进入hadoop安装文件夹。然后依次运行如下命令: 复制代码代码如下: bin/hadoop namenode -format bin/start-all.sh 不出意外的话,现在hadoop就可以使用了。 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

推荐整理分享linux下hadoop配置过程(hadoop开发环境linux集群的安装步骤),希望有所帮助,仅作参考,欢迎阅读内容。

linux下hadoop配置过程(hadoop开发环境linux集群的安装步骤)

文章相关热门搜索词:linux hadoop环境配置,hadoop_home配置,linux中hadoop的环境搭建,hadoop_home配置,hadooplinux搭建,linux中hadoop的环境搭建,linux中hadoop的环境搭建,linux hadoop配置,内容如对您有帮助,希望把文章链接给更多的朋友!

Ubuntu中安装samba服务器创建文件共享的方法及普通用户设置共享的问题解析 装系统时设置的那个唯一的用户,他拥有sudo权限和其它的所有默认权限(默认已在sambashare),当然,最高的仍然是root(注意root和管理员的区别)。在u

Ubuntu Server下建立VPN服务器的方法 我们知道,VPN有很多种,比如WindowsServer系列自己就带了VPN服务器,安装配置都非常简单,而今天我要在日志中介绍部署的,是Linux下的VPN-Server,基于PPTP

Ubuntu下部分网站不能正常访问的解决方法 再次搜索,终于找到Ubuntu中文社区pirate童鞋给出的解决方案:复制代码代码如下:#linux打开友善之臂论坛方法sudovim/etc/sysctl.conf//在这个文件最下面加入

标签: hadoop开发环境linux集群的安装步骤

本文链接地址:https://www.jiuchutong.com/biancheng/356368.html 转载请保留说明!

上一篇:Fedora 13 Final DVD ISO系统下载

下一篇:Ubuntu中安装samba服务器创建文件共享的方法及普通用户设置共享的问题解析(ubuntu中安装vim)

  • 工程施工企业收入和成本需不需要设置按项目核算
  • 出票后定期付款的汇票是什么意思
  • 公司注销后持股要交税吗
  • 劳务服务有什么
  • 其他收益科目在哪个科目前面填
  • 预交所得税比较多怎么办?
  • 低值易耗品费用包括哪些
  • 进口增值税发票图片
  • 第三方协议补贴
  • 进货发票未到怎么做账
  • 个人所得税申报退税的条件
  • 采用差额计税开什么发票
  • 旅行社会议主持开场
  • 公司增资需要什么
  • 信息服务费发票范围
  • 出口业务类型怎么写
  • 建筑企业跨地区
  • 财务费用年末有余额吗
  • 车间日常维修费用计入什么科目
  • 鸿蒙系统怎么开发
  • 苹果电脑任务栏跑到左边去了
  • 会计的职责概述
  • 本年利润和未分配利润怎么结转
  • 公司从超市购买东西缴纳印花税吗
  • 如何重装系统win7旗舰版
  • 国家占耕地补偿款给谁?
  • 营改增后房租收入怎么交税
  • 技术维护费计入
  • php 生成随机字符串
  • 其他综合收益的构成项目如何
  • 微信小程序最新咸鱼之王兑换
  • cifar10图像分类实验报告
  • cp命令复制文件到另一个目录并改名
  • php使用curl
  • 现金流量表期初现金余额怎么计算
  • 应计入财务费用的科目是
  • 企业所得税汇算清缴扣除标准2023
  • 物业管理公司的主管部门是哪个单位
  • 中付支付科技有限公司备付金
  • 公司增资该怎么做账
  • 投资性房地产在建期间需要摊销吗
  • centos执行sh
  • MYSQL administrator 使用
  • 增值税专用发票抵扣期限
  • mysql导入sql文件命令
  • 房租可以一次性抵扣吗
  • 什么叫代销合同
  • 减免城建税的会计分录
  • 固定资产变动方式对应科目
  • 发票融资贷款怎么做账
  • 企业购买房产缴纳房产税
  • 报税营业成本包括哪些费用
  • 不属于投资性房地产项目有自用房地产作为存货的
  • 发票专用章刻制
  • 什么是摊余成本法
  • sql数据库还原方法
  • windows延缓写入失败怎么修复
  • 安装并激活navicat
  • 定制xp系统
  • searchnavversion.exe - searchnavversion是什么进程 作用是什么
  • win7系统无法打开任务管理器
  • win10一年更新几次
  • 如何配置sendmail
  • win7筛选键
  • opengl update
  • Windows 7 OpenGL配置,解决“无法启动此程序,因为计算机中丢失glut32.dll。”
  • javascript数据结构
  • css命名大全
  • 网页中英文切换
  • javascript高级程序设计电子书
  • js编程中要使用到函数,分为哪几步?
  • unity find references in scene
  • jQuery+PHP+MySQL实现无限级联下拉框效果
  • java对象怎么比较
  • 用持久的喷剂有副作用吗
  • 陕西省税务系统
  • 四川税务网络领发票流程
  • 自然人电子税务局怎么设置申报密码
  • 河南省税务局系统最新消息
  • 陕西的发票在哪里领取
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设