1.部署前提注意

1.部署cdh的时候命名空间要注意默认是nameservice1
2.三台机器创建hadoop用户没有密码的
3.创建常用的文件夹上传jar包
4.配置三台机器的hostname（内网的ip） + ssh等
5.部署的时候是hadoop用户没有密码的如何配置三台机器的ssh呢？
ssh-keygen
去hadoop官网找配公钥
第一台为主节点先做第一台注意known_hosts (如果你的1号机器.ssh变动了这个文件里会存历史记录当2号机访问1号机就会出问题，删掉这个文件就可以解决)

2.ssh三台机器互通

1.ssh-keygen
2.参考hadoop.apache.org官网ssh配置  (这个是参考 主要是注意 authorized_keys 和权限)
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa    这里我们不用
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys
 3.以第一台为主节点配置authorized_keys 然后再分发给各个节点，由于没有密码个机器的台数比较少
 我们这里不能用scp ，所以我们采用把 各个节点的公钥id_rsa.pub下载到本地eg：id_rsa.pub001 ，id_rsa.pub002 来标识 最后都上传到主节点
 上追加到authorized_keys，再把authorized_keys下载上传给各个节点。

authorized_keys 配置图片：
在这里插入图片描述

4.
ssh ruozedata001 date
ssh ruozedata002  date 
ssh ruozedata003 date
每台机器都要执行一遍 （每一个命令第一遍要输入yes，如果提示输入密码代表 你的authorized_keys 权限没有变成600）

3.HDFS&Yarn HA 部署

配置文件获取：https://pan.baidu.com/s/1PGbLbqMOQfc_iF_n7m5a8A 提取码：jdec

1.上传jar包到主节点，scp到从节点（上面配置完互信了）
2.配置jave是注意 路径必须是 /usr/java （cdh决定的）
部署jdk本文就不讲了 注意用户和用户组 这点很重要 chown -R root:root /usr/java/*

(1)zk部署

1.解压
2.软连接 （好处是 软件版本升级的时候 个人配置文件的home的路径不用变动 方便版本管理）ls -s zookeep   zookeeper4
3.安装
[hadoop@ruozedata001 conf]$ ll
total 16
-rw-rw-r-- 1 hadoop hadoop  535 Feb 20  2014 configuration.xsl
-rw-rw-r-- 1 hadoop hadoop 2161 Feb 20  2014 log4j.properties
-rw-rw-r-- 1 hadoop hadoop 1032 Aug 20 00:11 zoo.cfg
-rw-rw-r-- 1 hadoop hadoop  922 Feb 20  2014 zoo_sample.cfg
[hadoop@ruozedata001 conf]$ cp zoo_sample.cfg zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/hadoop/data/zookeeper           ****这块要改一下 统一放到 data下

server.1=ruozedata001:2888:3888               *****zookeeper内部通讯端口要配置一下
server.2=ruozedata002:2888:3888
server.3=ruozedata003:2888:3888
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

mkdir /home/hadoop/data/zookeeper 目录接着去这个目录下配置myid (zk集群的机器号)

[hadoop@ruozedata001 zookeeper]$ echo 1 > ~/data/zookeeper/myid
[hadoop@ruozedata002 zookeeper]$ echo 2 > ~/data/zookeeper/myid
[hadoop@ruozedata003 zookeeper]$ echo 3 > ~/data/zookeeper/myid
注意： > 前后是有空格的 不然机器号写不进去myid的

接着在把zookeeper添加到个人环境变量中(三台机器一起操作)
[hadoop@ruozedata001 zookeeper]$ vim ~/.bash_profile

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH

最后检查是否安装成功
[hadoop@ruozedata001 zookeeper]$ which zkServer.sh
~/app/zookeeper/bin/zkServer.sh

启动zk
zkServer.sh start
zkServer.sh status
（2）HDFS部署

1.vim hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_45               ***************这个路径要改java的不要用 ${JAVA_HOME} 

# The jsvc implementation to use. Jsvc is required to run secure datanodes
# that bind to privileged ports to provide authentication of data transfer
# protocol.  Jsvc is not required if SASL is configured for authentication of
# data transfer protocol using non-privileged ports.
#export JSVC_HOME=${JSVC_HOME}

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

2.删掉core-site.xml yarn-site.xml slaves hdfs-site.xml    用自己提供的.xml
rm -f slaves yarn-site.xml hdfs-site.xml core-site.xml
三台机器上传提供好的配置文件
core-site.xml 需要注意：
   a.创建临时文件夹（与core-site.xml里的要一样）
        mkdir -p  /home/hadoop/tmp/hadoop
       chmod -R 777 /home/hadoop/tmp/hadoop
 b.hosts 与 groups  这是运行那些机器和那些用户组可以访问 注意

3.hdfs-site.xml  注意：
块大小 和 副本数    按自己公司配置  官网上可以查看默认的配置
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

在这里插入图片描述

3.hdfs-site.xml 注意：
HA
命名空间
journalNode
私钥的路径

4.mapreduce-site.xml注意：
配置map端输出的压缩
为什么使用snappy呢？压缩快解压快
https://ruozedata.github.io/2018/04/18/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%8E%8B%E7%BC%A9%EF%BC%8C%E4%BD%A0%E4%BB%AC%E7%9C%9F%E7%9A%84%E4%BA%86%E8%A7%A3%E5%90%97%EF%BC%9F/

5.yarn-site.xml 注意：
 Ha
 日志aggregation（分布式 把日志聚合起来）
 nodemanager的内存 + 最小调度内存 + 最大分配内存  cpu-vcores (几比几的意思 2 =》就是 1 比 2 的意思)
 这看基础班的视频在 b站 这块很重要 日后调优很重要

配置hadoop的环境变量

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs


export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/app/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

（3）启动集群

1.启动journalnode   三台一块做
hadoop-daemon.sh start journalnode
2.格式化namenode （这就不用三台一块做 选取第一台即可）
 hadoop namenode -format
 3.第一台namenode ok了 要同步第一台元数据到第二台
 scp -r  /home/hadoop/data/dfs/name/     hadoop@ruozedata002:/home/hadoop/data/dfs/
 这两个nn元数据要保持一样
 4.初始化zkfc (一台机器就可以了  zk是个集群 无需别的机器还去做)
 hdfs zkfc -formatZK
 5.启动hdfs （一台）
 start-dfs.sh 
 这块有个坑：
				 [hadoop@ruozedata001 dfs]$  start-dfs.sh 
				Starting namenodes on [ruozedata001 ruozedata002]
				ruozedata001: starting namenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-namenode-ruozedata001.out
				ruozedata002: starting namenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-namenode-ruozedata002.out
				: Name or service not knownstname ruozedata001
				: Name or service not knownstname ruozedata002
				ruozedata003: starting datanode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-datanode-ruozedata003.out
				Starting journal nodes [ruozedata001 ruozedata002 ruozedata003]
				ruozedata002: journalnode running as process 2392. Stop it first.
				ruozedata003: journalnode running as process 2372. Stop it first.
				ruozedata001: journalnode running as process 2468. Stop it first.
				Starting ZK Failover Controllers on NN hosts [ruozedata001 ruozedata002]
				ruozedata001: starting zkfc, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-zkfc-ruozedata001.out
				ruozedata002: starting zkfc, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-zkfc-ruozedata002.out
 
这个日志倒着看  zk启动 jn启动 dn001 和dn002 启动报错  为什么？

        dn是slaves 文件控制的 检查这个文件

扩展小知识点：
    linux文件的类型分为两种 window的格式/ linux本身的格式
    这两种格式再Linux下都可以cat 

file slaves  :(查看文件类型)
[hadoop@ruozedata001 hadoop]$ cat slaves 
ruozedata001
ruozedata002
ruozedata003[hadoop@ruozedata001 hadoop]$ file slaves 
slaves: ASCII text, with CRLF line terminators

slaves: ASCII text, with CRLF line terminators说明类型是windows的   需要windows 转换成Linux的  
解决：
[root@ruozedata001 ~]# yum install -y dos2unix
[hadoop@ruozedata001 hadoop]$ file slaves 
slaves: ASCII text, with CRLF line terminators
[hadoop@ruozedata001 hadoop]$ dos2unix slaves 
dos2unix: converting file slaves to Unix format ...
[hadoop@ruozedata001 hadoop]$ file slaves 
slaves: ASCII text
hadoop@ruozedata001 hadoop]$ pwd
/home/hadoop/app/hadoop/etc/hadoop
[hadoop@ruozedata001 hadoop]$ scp slaves ruozedata002:/home/hadoop/app/hadoop/etc/hadoop/
slaves                                          100%   38     0.0KB/s   00:00    
[hadoop@ruozedata001 hadoop]$ scp slaves ruozedata003:/home/hadoop/app/hadoop/etc/hadoop/
slaves                                          100%   38     0.0KB/s   00:00    
[hadoop@ruozedata001 hadoop]$

再次启动：
 start-dfs.sh 
		[hadoop@ruozedata001 hadoop]$ start-dfs.sh 
		Starting namenodes on [ruozedata001 ruozedata002]
		ruozedata001: namenode running as process 2765. Stop it first.
		ruozedata002: namenode running as process 11693. Stop it first.
		ruozedata003: datanode running as process 11654. Stop it first.
		ruozedata002: starting datanode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-datanode-ruozedata002.out
		ruozedata001: starting datanode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-datanode-ruozedata001.out
		Starting journal nodes [ruozedata001 ruozedata002 ruozedata003]
		ruozedata003: journalnode running as process 2372. Stop it first.
		ruozedata001: journalnode running as process 2468. Stop it first.
		ruozedata002: journalnode running as process 2392. Stop it first.
		Starting ZK Failover Controllers on NN hosts [ruozedata001 ruozedata002]
		ruozedata001: zkfc running as process 3076. Stop it first.
		ruozedata002: zkfc running as process 11816. Stop it first.

在这里插入图片描述

6.访问hdfs页面50070

避免被挖矿配置只有自己的电脑ip能访问
在这里插入图片描述

active: 在这里插入图片描述
standby:

7.start-yarn.sh (一台)
这块第二台的rm是启动不起来的 需要手工去启动
yarn-daemon.sh start resourcemanager(第二台)

在这里插入图片描述
手工启动后：

8.访问yarn页面
注意：
active :ip1:8080 就可以直接访问
standby：ip2:8080/cluster/cluster   才可以访问 他直接8080 访问不了

active:
在这里插入图片描述
standby:

9.$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver (001上启动 配置文件里配置的)

在这里插入图片描述
访问页面：

(4）关闭集群
倒着关闭
[root@hadoop001 sbin]# stop-yarn.sh
[root@hadoop002 sbin]# yarn-daemon.sh stop resourcemanager
[root@hadoop001 sbin]# stop-dfs.sh

(5)常用脚本及命令

1.启动集群
[root@hadoop001 ~]# $ZOOKEEPER_HOME/bin/zkServer.sh start
[root@hadoop002 ~]# $ZOOKEEPER_HOME/bin/zkServer.sh start
[root@hadoop003 ~]# $ZOOKEEPER_HOME/bin/zkServer.sh start
[root@hadoop001 ~]# $HADOOP_HOME/sbin/start-all.sh （hdfs +yarn）
[root@hadoop002 ~]# $HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager
[root@hadoop001 ~]# $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
2.关闭集群
[root@hadoop001 ~]# $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
[root@hadoop002 ~]# $HADOOP_HOME /sbin/yarn-daemon.sh stop resourcemanager
[root@hadoop001 ~]# $HADOOP_HOME /sbin/stop-all.sh
[root@hadoop001 ~]# $ZOOKEEPER_HOME /bin/zkServer.sh stop
[root@hadoop002 ~]# $ZOOKEEPER_HOME /bin/zkServer.sh stop