Hadoop完全分布式集群的搭建

如果前一章的内容你看懂了,那么请先删除之前搭建的三个新服务器重新克隆三个!!!(博主绝对不是故意为之,真的只是忘记了?)

1.分布式集群搭建规划

开始之前当然是要有一个计划:
在这里插入图片描述

2.集群的配置(权限问题,命令执行位置问题请自行注意)

2.1核心配置文件(core)

执行命令:vi core-site.xml
在文件中加入如下内容:

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

2.2 HDFS配置文件(hdfs)

1.执行命令:vi hadoop-env.sh
配置JAVA_HOME环境:

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.再执行命令:vi hdfs-site.xml
添加如下内容:

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>hadoop104:50090</value>
</property>

2.3YARN配置文件(yarn)

1.执行内容:vi yarn-env.sh
配置JAVA_HOME环境:

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.再执行命令:vi yarn-site.xml
添加如下内容:

<!-- reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop103</value>
</property>

2.4MapReduce配置文件(mapred)

1.执行命令:vi mapred-env.sh
配置JAVA_HOME:

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.配置mapred-site.xml:

  • 修改配置文件名(因为默认加载mapred-site.xml):cp mapred-site.xml.template mapred-site.xml
  • 在编辑配置文件:vi mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

2.5 在集群上分发配置好的Hadoop配置文件

执行命令:xsync /opt/module/hadoop-2.7.2/

3.集群的启动(分两种方式)

3.1 单点启动

1.分别启动/停止HDFS组件参考命令:hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
2.启动/停止YARN参考命令:yarn-daemon.sh start / stop resourcemanager / nodemanager

3.2 群起集群

3.2.1 SSH无密登录

查看:https://blog.csdn.net/qq_39657909/article/details/84938489

3.2.2 集群是第一次启动,需要格式化NameNode

执行命令:[lsl@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

3.2.3 启动HDFS

执行命令:[lsl@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

3.2.4 启动YARN

执行命令:[lsl@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN

4.集群查看

4.1查看HDFS文件系统

浏览器查看:http://[NameNode主机IP]:50070/dfshealth.html#tab-overview

4.2查看SecondaryNameNode

浏览器查看:http://[SecondaryNameNode主机IP]:50090/status.html

4.3查看YARN

浏览器查看:http://[YARN主机IP]:8088/cluster

5.返回目录

总目录:https://blog.csdn.net/qq_39657909/article/details/84729209

版权声明:本博客为记录本人自学感悟,转载需注明出处!
https://me.csdn.net/qq_39657909

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页