Hadoop 安装

Hadoop所需的环境： Hadoop的生产环境是UNIX，但也可以在Windows上使用Cygwin。运行Map Reduce程序需要Java 1.6或以上版本。在UNIX环境中从tar包安装Hadoop时需要以下步骤：

1. 安装Java
2. 安装SSH
3. 安装Hadoop并进行文件配置

1）安装Java

步骤1. 在命令提示符中输入”java -version”以查看是否已安装Java。如果没有安装，则从http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载Java。tar文件 jdk-7u71-linux-x64.tar.gz 将被下载到您的系统中。

步骤2. 使用以下命令解压文件

#tar zxf jdk-7u71-linux-x64.tar.gz

步骤3： 为了使Java在UNIX的所有用户中可用，将文件移动到/usr/local并设置路径。在提示符中切换到root用户，然后键入以下命令将jdk移动到/usr/lib。

# mv jdk1.7.0_71 /usr/lib/

现在在 ~/.bashrc 文件中添加以下命令来设置路径。

# export JAVA_HOME=/usr/lib/jdk1.7.0_71
# export PATH=PATH:$JAVA_HOME/bin

现在，你可以通过在命令提示符中输入”java -version”来检查安装情况。

2）SSH安装

SSH用于与主机和从机电脑进行交互，而无需输入密码。首先，在主机和从机系统上创建一个Hadoop用户。

# useradd hadoop
# passwd Hadoop

要映射节点，请在所有机器上打开/etc/文件夹中的hosts文件，并将IP地址与其主机名一起放入。

# vi /etc/hosts

输入下面的行

190.12.1.114    hadoop-master
190.12.1.121    hadoop-salve-one
190.12.1.143   hadoop-slave-two

在每个节点上设置SSH密钥，以便它们可以无需密码之间相互通信。相关命令如下：

# su hadoop 
ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master 
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 
chmod 0600 ~/.ssh/authorized_keys exit

3）Hadoop安装

Hadoop可以从http://developer.yahoo.com/hadoop/tutorial/module3.html下载。

现在解压Hadoop并将其复制到某个位置。

$ mkdir /usr/hadoop
$ sudo tar vxzf  hadoop-2.2.0.tar.gz ?c /usr/hadoop

更改Hadoop文件夹的所有权

$sudo chown -R hadoop  usr/hadoop

修改Hadoop配置文件：

所有文件位于/usr/local/Hadoop/etc/hadoop

1）在hadoop-env.sh文件中添加

export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.7.0_71

2）在core-site.xml中，在configuration标签之间添加以下内容，

fs.default.name
hdfs://hadoop-master:9000

dfs.permissions
false

3) 在hdfs-site.xml中在configuration标签之间添加以下内容，

dfs.data.dir
usr/hadoop/dfs/name/data
true


dfs.name.dir
usr/hadoop/dfs/name
true


dfs.replication
1

4) 打开Mapred-site.xml文件，按照下面所示进行更改

mapred.job.tracker
hadoop-master:9001

5) 最后，更新你的 $HOME/.bahsrc 文件

cd HOME
vi .bashrc
Append following lines in the end and save and exit
#Hadoop variables 
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.7.0_71
export HADOOP_INSTALL=/usr/hadoop
export PATH=PATH:HADOOP_INSTALL/bin 
export PATH=PATH:HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=HADOOP_INSTALL 
export HADOOP_COMMON_HOME=HADOOP_INSTALL
export HADOOP_HDFS_HOME=HADOOP_INSTALL 
export YARN_HOME=$HADOOP_INSTALL

在从机器上使用以下命令安装Hadoop。

# su hadoop 
cd /opt/hadoop scp -r hadoop hadoop-slave-one:/usr/hadoop 
$ scp -r hadoop hadoop-slave-two:/usr/Hadoop

配置主节点和从节点

$ vi etc/hadoop/masters
hadoop-master

$ vi etc/hadoop/slaves
hadoop-slave-one 
hadoop-slave-two

执行完此格式化操作后，启动所有的守护进程。

# su hadoop 
cd /usr/hadoop bin/hadoop namenode -format

cdHADOOP_HOME/sbin
$ start-all.sh

最简单的步骤是使用Cloudera，因为它已经预装了所有的材料，可以从http://content.udacity-data.com/courses/ud617/Cloudera-Udacity-Training-VM-4.1.1.c.zip下载。