大数据环境搭建1：apache hadoop环境搭建（centos7）

it2022-05-05 105

1. 集群规划

2. 修改主机名（三台机器）

3. 设置ip地址（如果有图形界面，可以直接通过图形界面进行设置，三台机器）

4. 配置主机名映射(三台机器)

5. 关闭防火墙和selinux（三台机器）

6. 安装jdk（略）

7. 拍摄快照，方便日后重新搭建环境

8. 配置ssh免密码登录

9. 下载apache hadoop2.7.7

10. 解压安装hadoop

11. 配置hadoop环境变量

12. 修改hadoop-env.sh配置文件

13. 修改core-site.xml

14. 配置hdfs-site.xml

15. 配置mapred-site.xml

16. 修改yarn-site.xml

17. 拷贝hadoop安装文件夹到从机

18. 主节点配置slave

19. hadoop格式化

20. hadoop启动

21. 使用jps查看java进程

22. 使用浏览器访问hadoop集群和yarn

23. 停止hadoop

24. 拍摄虚拟机快照，方便进一步在此基础上进行环境搭建

25. 文档说明：

集群规划

主机

cpu核数

内存

每个节点安装的服务

master

192.168.108.10

namenode, secondnamenode,datanode,resourcemanager,nodemanager,JobHistoryServer

slave1

192.168.108.11

datanode, nodemanager

slave2

192.168.108.12

datanode, nodemanager

修改主机名（三台机器）

（1）centos7使用如下命令修改主机名（centos6需要配置/etc/sysconfig/network）

hostnamectl set-hostname master

设置ip地址（如果有图形界面，可以直接通过图形界面进行设置，三台机器）编辑网卡配置文件，需要设置正确的网关地址，本例按照NAT模式进行设置，需要设置NAT的网关地址，否则上不了外网

vi /etc/sysconfig/network-script/ens-33

TYPE=Ethernet

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=static

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ens33

UUID=ccc1cf88-6881-4eec-9ec1-9c8539dec83d

DEVICE=ens33

ONBOOT=yes

GATEWAY=192.168.108.2

DNS1=192.168.108.2

DNS2=8.8.8.8

NETMASK=255.255.255.0

（2）设置完成后需要重启网络服务

service network restart

配置主机名映射(三台机器)

vi /etc/hosts

192.168.108.10 master

192.168.108.11 slave1

192.168.108.12 slave2

关闭防火墙和selinux（三台机器）

（1）关闭防火墙(centos6不同)

systemctl stop firewalld

systemctl disable firewalld

systemctl status firewalld

（2）关闭linux的子安全系统

vi /etc/sysconfig/selinux

SELINUX=disabled

reboot

安装jdk（略）拍摄快照，方便日后重新搭建环境配置ssh免密码登录 ssh-keygen -t rsassh-copy-id masterscp authorized_keys slave1:/root/.ssh

其余机器都做同样的操作

下载apache hadoop2.7.7

https://hadoop.apache.org/releases.html

解压安装hadoop

tar -zxvf hadoop-2.7.7.tar.gz -C /home/wangping/app

配置hadoop环境变量

vi /etc/profile

export HADOOP_HOME=/home/wangping/app/hadoop-2.7.7

export PATH=$HADOOP_HOME:PATH

修改hadoop-env.sh配置文件

cd /home/wangping/app/hadoop-2.7.7/etc/hadoop

vi /hadoop-env.sh

export JAVA_HOME=/home/wangping/app/jdk1.8.0_144

修改core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/wangping/app/hadoop-2.7.7/tmp</value>

</property>

</configuration>

配置hdfs-site.xml

<name>dfs.namenode.secondary.http-address</name>

<value>master:50090</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>/home/wangping/app/hadoop-2.7.7/tmp/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>/home/wangping/app/hadoop-2.7.7/tmp/dfs/data</value>

</property>

</configuration>

配置mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

</configuration>

修改yarn-site.xml

<name>yarn.resourcemanager.hostname</name>

<value>master</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

拷贝hadoop安装文件夹到从机

scp -r hadoop-2.7.7/ slave1:/home/wangping/app

scp -r hadoop-2.7.7/ slave2:/home/wangping/app

主节点配置slave

vi slaves

master

slave1

slave2

hadoop格式化

cd /home/wangping/app/hadoop-2.7.7/bin

./hadoop namenode -format

./hadoop datanode -format

hadoop启动

cd sbin

./start-all.sh

./start-all.sh ./mr-jobhistory-daemon.sh start historyserver

使用jps查看java进程

jps

13153 NodeManager

13554 JobHistoryServer

12584 NameNode

12872 SecondaryNameNode

13049 ResourceManager

12700 DataNode

使用浏览器访问hadoop集群和yarn

http://192.168.108.10:50070

http://192.168.108.10:8088

停止hadoop

cd sbin

./stop all

拍摄虚拟机快照，方便进一步在此基础上进行环境搭建文档说明：

黄色为需要编辑的文本内容

灰色为shell命令

专利

最新回复(0)