Mac OS X Yosemite上安装Hadoop教程(macosmajove)

推荐整理分享Mac OS X Yosemite上安装Hadoop教程(macosmajove)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:macosxlion,macosmonterey,macosmonterey,macosmajove,macosmajove,macosicon,macositunes,-macosx,内容如对您有帮助，希望把文章链接给更多的朋友！

1. 安装Homebrew和Cask

打开Mac终端, 安装OS X 不可或缺的套件管理器homebrew和homebrew cask复制代码代码如下:$ ruby -e "$(curl -fsSL $ brew install caskroom/cask/brew-cask2. 安装JavaHadoop是由Java编写, 所以需要预先安装Java 6或者更高的版本复制代码代码如下:$ brew update && brew upgrade brew-cask && brew cleanup && brew cask cleanup $ brew cask install java测试是否安装成功复制代码代码如下:$ java -version

3. 配置SSH

为了确保在远程管理Hadoop以及Hadoop节点用户共享时的安全性, Hadoop需要配置使用SSH协议

首先在系统偏好设置->共享->打开远程登录服务->右侧选择允许所有用户访问

生成密钥对,执行如下命令复制代码代码如下:$ ssh-keygen -t rsa执行这个命令后, 会在当前用户目录中的.ssh文件夹中生成id_rsa文件, 执行如下命令:复制代码代码如下:$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys使用下面命令测试是否能够不使用密码登录复制代码代码如下:$ ssh localhost # Last login: Thu Mar 5 ::

4. 安装Hadoop复制代码代码如下:$ brew install hadoopHadoop会被安装在/usr/local/Cellar/hadoop目录下

4.1. 配置Hadoop

配置hadoop-env.sh

在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hadoop-env.sh文件

找到其中一行:复制代码代码如下:export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"修改为:复制代码代码如下:export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到core-site.xml复制代码代码如下:<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/Cellar/hadoop/hdfs/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value> </property> </configuration>在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到mapred-site.xml, 在其中添加:复制代码代码如下:<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:</value> </property> </configuration>在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hdfs-site.xml复制代码代码如下:<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>在运行后台程序前, 必须格式化新安装的HDFS, 并通过创建存储目录和初始化元数据创新空的文件系统, 执行下面命令:复制代码代码如下:$ hadoop namenode -format #生成类似下面的字符串: DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. // :: INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = Andrew-liudeMacBook-Pro.local/..1. STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.6.0 ... #此书省略大部分 STARTUP_MSG: java = 1.6.0_ ************************************************************ /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at Andrew-liudeMacBook-Pro.local/..1. ************************************************************/

4.2. 启动后台程序

在/usr/local/Cellar/hadoop/2.6.0/sbin目录下, 执行如下命令复制代码代码如下:$ ./start-dfs.sh #启动HDFS $ ./stop-dfs.sh #停止HDFS成功启动服务后, 可以直接在浏览器中输入

MAC系统下的DwellClick软件使用介绍 我们每天都在与电脑打交道，但是有木有想过一天内点击鼠标多少次呢？我想这应该是不小的数字，就我而言至少应该在次以上，当然，像整天玩魔

Mac中使用seil和karabiner做键盘映射教程 最近在找工具,想把Mac键盘上的capslock键映射成control键,发现两个神器,seil和karabiner.首先需要到系统偏好设置里将CapsLock键改为「NoAction」。下载这两个工

Mac使用自带刻录工具Toast刻录光盘的方法 我们有时需要刻录一些文件、视频等，在PC机中我们有着许多种刻录的方法，那么，在MAC中我们又该怎么刻录这些文件呢？今天小编就教大家如何使用MAC