简述


hadoop 集群一共有4种部署模式,详见《hadoop 生态圈介绍》。 完全分布式模式将hadoop部署在至少两台机子上,数据块副本的数量通常也设置为2以上,拥有Namenode和Secondary Namenode。

所有四种模式的部署指南见:
hadoop 伪分布式搭建指南
hadoop 完全分布式搭建指南
hadoop HA高可用集群模式搭建指南
hadoop HA+Federation(联邦)模式搭建指南

搭建过程


系统环境

Ubuntu 14.04 x64 Server LTS Hadoop 2.7.2 vagrant 模拟三台主机,内存都为2G

节点角色

| IP |主机名 | 角色描述| | — | — | — | — | |192.168.100.201 | h01.vm.com | 主节点 NameNode, job-history-server | |192.168.100.202 |h02.vm.com |主节点 Secondary-NameNode, (yarn)ResourceManager| |192.168.100.203 | h03.vm.com| - |

另,以上所有节点都同时是 slave从节点,即 datanode。运行Namenode和ResourceManager的节点即为主节点。

更新软件源索引
  • 分别在 h01 h02 h03 操作
    sudo apt-get update
    
安装基础软件
  • 分别在 h01 h02 h03 操作
    sudo apt-get install ssh
    sudo apt-get install rsync
    
配置主机域名
  • 分别在 h01 h02 h03 操作
    sudo vim /etc/hostname # centos系统可能没有该文件,创建即可
    h01.vm.com # 该节点主机名
    

    将该文件内容修改为对应的主机名,例如 h01.vm.com

域名解析
  • 搭建内网DNS服务器(可选,但推荐),可阅读vincent的博文 http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
  • 配置 /etc/hosts,将以下代码追加到文件末尾即可(如搭建了DNS服务器,则跳过此步骤)
  • 分别在 h01 h02 h03 操作
    sudo vim /etc/hosts
    192.168.100.201 h01.vm.com h01
    192.168.100.202 h02.vm.com h02
    192.168.100.203 h03.vm.com h03
    

!!! Ubuntu系统,须删掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!! Check that there isn’t an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this). 127.0.1.1 h01.vm.com # must remove

不然可能会引起 hadoop、zookeeper 节点间通信的问题

时间同步(可选)

在内网中搭建 ntp 服务器,可阅读vincent的博文 http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

准备jdk、hadoop软件包
  • 须到官方网站下载stable版本 jdk-7u79-linux-x64.tar.gz hadoop-2.7.2.tar.gz
  • 所有的软件包都统一解压到 /home/vagrant/VMBigData 目录下,其中 vagrant 是linux系统的用户名,由于我是使用 vagrant 虚拟的主机,所以默认是 vagrant
  • 在 h01 操作
    # 先在其中一台机子操作,后面会使用 scp 命令或者其他方法同步到其他主机
    mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java
    tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
    tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop
    
配置软连接,方便以后升级版本
  • 在 h01 操作,后面通过 scp 同步到其他主机
    ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/  /home/vagrant/VMBigData/java/default
    ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/  /home/vagrant/VMBigData/hadoop/default
    
配置环境变量
  • 分别在 h01 h02 h03 操作
    sudo vim /etc/profile
    export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
    export JAVA_HOME=/home/vagrant/VMBigData/java/default
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
    source /etc/profile
    
配置免密码ssh登录

hadoop主节点需要能远程登陆集群内的所有节点(包括自己),以执行命令。所以需要配置免密码的ssh登陆。可选的ssh秘钥对生成方式有rsa和dsa两种,这里选择rsa。

  • 分别在 h01 h02 ,即两个主节点上操作
    ssh-keygen -t rsa -C "youremail@xx.com"
    # 注意在接下来的命令行交互中,直接按回车跳过输入密码
    
  • 以下命令将本节点的公钥 id_rsa.pub 文件的内容追加到远程主机的 authorized_keys 文件中(默认位于 ~/.ssh/)
    ssh-copy-id vagrant@h01.vm.com # vagrant是远程主机用户名
    ssh-copy-id vagrant@h02.vm.com # vagrant是远程主机用户名
    ssh-copy-id vagrant@h03.vm.com
    
  • 在 h01 h02 上测试无密码 ssh 登录到 h01 h02 h03
    ssh h01.vm.com
    ssh h02.vm.com
    ssh h03.vm.com
    

!!! 注意使用rsa模式生成密钥对时,不要轻易覆盖原来已有的,确定无影响时方可覆盖 !!!

配置从节点

在 slaves 文件中配置的主机即为从节点,将自动运行datanode服务

  • 在 h01 操作,后面通过 scp 同步到其他主机
    vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
    h01.vm.com 
    h02.vm.com
    h03.vm.com
    
建立存储数据的相应目录
  • 在 h01 操作,后面通过 scp 同步到其他主机
    mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
    mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
    mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode
    mkdir -p /home/vagrant/VMBigData/hadoop/data/namesecondary
    mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
    mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
    mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
    mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs    
    
配置hadoop参数

在 h01 操作,后面通过 scp 同步到其他主机

  • etc/hadoop/hadoop-env.sh
    vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
    # export JAVA_HOME=${JAVA_HOME} # 注意注释掉原来的这行
    export JAVA_HOME=/home/vagrant/VMBigData/java/default
    export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
    # export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
    export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
    export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
    # export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
    export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
    
  • etc/hadoop/mapred-env.sh
    vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
    export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
    
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml ```xml
fs.defaultFS hdfs://h01.vm.com:9000 hadoop.tmp.dir /home/vagrant/VMBigData/hadoop/data/hdfs/tmp

* vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
```xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>dfs.replication</name>  
    <!-- 单机版的一般设为1,若是集群,一般设为3 -->  
    <value>2</value> 
  </property>  
  <property> 
    <name>dfs.namenode.name.dir</name>  
    <!-- 创建的namenode文件夹位置,如有多个用逗号隔开。配置多个的话,每一个目录下数据都是相同的,达到数据冗余备份的目的 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/namenode</value> 
  </property>  
  <property> 
    <name>dfs.datanode.data.dir</name>  
    <!-- 创建的datanode文件夹位置,多个用逗号隔开,实际不存在的目录会被忽略 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> 
  </property>  
  <!-- 配置Secondary NameNode在另外一个节点上,该节点也将作为主节点之一 -->  
  <property> 
    <name>dfs.http.address</name>  
    <value>h01.vm.com:50070</value>  
    <description>Secondary get fsimage and edits via dfs.http.address</description> 
  </property>  
  <property> 
    <name>dfs.secondary.http.address</name>  
    <value>h02.vm.com:50090</value> 
  </property>  
  <property> 
    <name>dfs.namenode.checkpoint.dir</name>  
    <value>file:///home/vagrant/VMBigData/hadoop/data/hdfs/namesecondary</value> 
  </property> 
</configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml ```xml
yarn.resourcemanager.hostname h02.vm.com yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 86400 yarn.nodemanager.resource.memory-mb 1024 yarn.scheduler.minimum-allocation-mb 256 yarn.scheduler.maximum-allocation-mb 512 yarn.nodemanager.vmem-pmem-ratio 2.1 yarn.nodemanager.vmem-check-enabled false yarn.nodemanager.local-dirs /home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2 yarn.nodemanager.log-dirs /home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler

* vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml
```xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
  <property> 
    <name>yarn.app.mapreduce.am.resource.mb</name>  
    <!-- 默认值为 1536,可根据需要调整,调小一些也是可接受的 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>mapreduce.map.memory.mb</name>  
    <!-- 每个map task申请的内存,每一次都会实际申请这么多 -->  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.map.java.opts</name>  
    <!-- 每个map task中的child jvm启动时参数,需要比 mapreduce.map.memory.mb 设置的小一些 -->  
    <!-- 注意:map任务里不一定跑java,可能跑非java(如streaming) -->  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.memory.mb</name>  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.java.opts</name>  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.map.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapred.child.java.opts</name>  
    <!-- 默认值为 -Xmx200m,生产环境可以设大一些 -->  
    <value>-Xmx384m</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.mb</name>  
    <!-- 任务内部排序缓冲区大小 -->  
    <value>128</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.factor</name>  
    <!-- map计算完全后的merge阶段,一次merge时最多可有多少个输入流 -->  
    <value>100</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.shuffle.parallelcopies</name>  
    <!-- reuduce shuffle阶段并行传输数据的数量 -->  
    <value>50</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.address</name>  
    <value>h01.vm.com:10020</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>h01.vm.com:19888</value> 
  </property> 
</configuration>
将hadoop所需文件同步到其他主机
  • 在 h01 上操作
    scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
    scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant
    

    !!! 注意:default 软连接需要重建 !!!

格式化namenode
  • 在 h01 namenode 上执行
    hdfs namenode -format
    

!!! 注意仅在首次启动时执行,因为此命令会删除hadoop集群所有的数据 !!!

启动hadoop集群,方法1(只能启动当前机器的服务):

启动NameNode守护进程

  • 在 h01 namenode 操作
    cd  /home/vagrant/VMBigData/hadoop/default
    sbin/hadoop-daemon.sh --script hdfs start namenode
    # sbin/hadoop-daemon.sh --script hdfs stop namenode # 停止
    

启动所有从节点的DataNode守护进程

  • 在 h01 h02 h03 操作
    cd  /home/vagrant/VMBigData/hadoop/default
    sbin/hadoop-daemon.sh --script hdfs start datanode
    # sbin/hadoop-daemon.sh --script hdfs stop datanode # 停止
    

启动ResourceManager守护进程

  • 在 h02 resourcemanager 操作
    cd  /home/vagrant/VMBigData/hadoop/default
    sbin/yarn-daemon.sh start resourcemanager
    # sbin/yarn-daemon.sh stop resourcemanager # 停止
    

启动所有从节点的NodeManager守护进程

  • 在 h01 h02 h03 操作
    cd  /home/vagrant/VMBigData/hadoop/default
    sbin/yarn-daemon.sh start nodemanager
    # sbin/yarn-daemon.sh stop nodemanager # 停止
    

启动MapReduce JobHistory Server(可选)

  • 在 h01 job history server 上操作
    cd  /home/vagrant/VMBigData/hadoop/default
    sbin/mr-jobhistory-daemon.sh start historyserver
    # sbin/mr-jobhistory-daemon.sh stop historyserver # 停止
    
启动hadoop集群,方法2(推荐):
  • 可在任意主节点操作,以启动namenod和datanode等服务
    cd  /home/vagrant/VMBigData/hadoop/default
    sbin/start-dfs.sh
    # sbin/stop-dfs.sh # 停止
    
  • 在 h02 上启动 yarn 服务
    cd  /home/vagrant/VMBigData/hadoop/default
    sbin/start-yarn.sh
    # sbin/stop-yarn.sh # 停止
    
  • 在 h01 上启动 job history server(可选)
    cd  /home/vagrant/VMBigData/hadoop/default
    sbin/mr-jobhistory-daemon.sh start historyserver
    # sbin/mr-jobhistory-daemon.sh stop historyserver # 停止
    
浏览服务启动情况

NameNode http://192.168.100.201:50070

Secondary NameNode http://192.168.100.202:50090

ResourceManager http://192.168.100.202:8088

MapReduce JobHistory Server http://192.168.100.201:19888

Datanode http://192.168.100.201:50075 http://192.168.100.202:50075 http://192.168.100.203:50075

集群状态 hdfs dfsadmin -report

hadoop进程 jps