使用Docker搭建Hadoop单机版

it2022-05-05  104

其实,直接安装也很简单,官方说明文档:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html。使用Docker安装只是为了不想污染我的云服务器...

首先确保你的机器关了防火墙(或者安装完后开启指定端口的白名单),然后就是已经有了Docker,还没安装的可以参考我的另一篇博客

1、下载镜像

docker pull sequenceiq/hadoop-docker:2.6.0

你也可以选择latest,目前是2.7.0。

2、运行,并指定端口映射

docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042  -p 49707:49707  -p 50010:50010  -p 50075:50075  -p 50090:50090 sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh -bash

至于哪个端口表示什么,50070是namenode的页面(主页面),50075是datanode的页面,50090是status的页面,9000是客户端使用hdfs协议连接的端口,其它的不太清楚。

3、查看容器是否启动

docker ps

4、进入容器内部

docker exec -it ${CONTAINER ID} /bin/bash

这样你就可以像普通安装的那样操作了。比如说,使用它提供的jar包跑一下MapReduce案例。或者,你也可以直接打开浏览器进行验证:输入http://宿主机ip:50070,看下是否能够访问namenode的页面。

 参考:https://www.cppentry.com/bencandy.php?fid=114&id=193020


最新回复(0)