我们在搭建伪分布式Hadoop环境，需要将一系列的配置文件配置好。 一、配置文件 1. 配置文件hadoop-env.sh export JAVA_HOME=/opt/modules/jdk1.7.0_67 2. 配置core-site.xml dfs.defaultFS hdfs://hostname:8020 hadoop.tmp.dir /opt/modules/hadoop-2.5.0/data/tmp
配置hdfs-site.xml dfs.replication 3
配置yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle
配置mapred-site.xml mapreduce.framework.name yarn
二、启动HDFS 1，格式化NameNode bin/hdfs namenode -format 2，启动NameNode bin/hadoop.daemon.sh start namenode 3，启动DataNode bin/hadoop.daemon.sh start datanode 4，HDFS的WEB监控页面： http://hostname:50070 5，启动SecondaryNameNode bin/hadoop.daemon.sh start secondarynamenode 6，SecondaryNameNode的WEB监控页面： http://hostname:50090
三、日志文件 启动每个守护进程会产生两个log文件，文件路径为$HADOOP_HOME/logs目录下，文件的格式为【.log】和【.out】 .log：log4j记录，记录大部分应用程序的日志信息 .out：记录标准输出和标准错误日志，少量记录 日志的命名规则：【框架名+用户名+进程名+主机名+日志格式】
四、启动YARN 1，启动ResourceManager bin/yarn-daemon.sh start resourcemanager 2，启动NodeManager bin/yarn-daemon.sh start nodemanager 3，YARN的WEB监控界面： http://hostname:8088 resourcemanager http”//hostname:8042 nodemanager
五、历史服务器 1，启动历史服务器 bin/mr-jobhistory-daemon.sh start historyserver 2，历史服务器监控界面 http://hostname:19888
转载于:https://www.cnblogs.com/liufei-yes/p/5071775.html
相关资源：Hadoop伪分布式搭建配置文件