大数据指无法在一定时间范围内用常规软件工具进行捕捉/管理和梳理的数据集合,需要新处理模式才能具有更强的决策力/洞查发现力和流程优化能力的海量/高增长率和多样化的信息资产
-是指从各种类型的数据中,库阿斯获得有价值的信息
企业组织利用相关数据分析帮助他们降低成本,提高效率,开发[新产品,做出更明智的业务决策等
-把数据集合后进行分析的信息和数据关系性,用来擦觉商业趋势,判定研究质量,避免疾病扩散,打击犯罪或测定即使交通路况等
-大规模并行处理数据库,数据挖掘电网,分布式文件系统或数据库,云计算平和可扩展的存储系统
volume 大体量 可从数百TB到数十数百PB,甚至EB的规模 -variety 多样性 大数据包括各种格式和形态的数据 -velocity 时效性 很多数据需要在一定的时间限度下得到及时处理 -veracity 准确性 处理的结构要保证一定的准确性 -value 大价值 大数据包含很多深度的加载,大数据分析挖掘和;利用将带来巨大的商业价值
Hadoop 是一种分析和处理海量数据库的软件平台 -hadoop 是一款开源软件,使用java开发 -hadoop 可以提供一个分布式基础架构
高可靠,高扩展性,高效性,高容错性,低成本
HDFS:hadoop分布式文件系统(核心组件) MapReduce:分布式计算框架(核心组件) Yarn:集群资源管理系统(核心组件)
zookeeper:分布式协作服务 hbase:分布式列存数据库 hive:基于hadoop的数据仓库 sqoop:数据同步工具 pig:基于hadoop的数据流系统 mahout:数据挖掘算法库 flume:日志收集工具
HDFS :hadoop体系中数据存储管理的基础,是一个高度容错的系统,用于低成本的通用硬件上运行
client -namenode -secondarynode -datanode
Namenode : Master节点,管理HDFS的名称空间和数据块映射信息,配置副本策略,处理所有客户端请求
secondary Namenode -定期合并fsimage 和fsedits -紧急情况下,可辅助恢复Namenode
但secondary NameNode 并非NameNode的热备
数据存储节点,存储实际的数据 -汇报存储信息给NameNode
切分文件 -访问HDFS -与NameNode交互,获取文件位置信息 -与DataNode交互,读取和写入数据
每块缺省128M大小 -每块可以多个副本
tasktracker -map task -reduce task
Master节点只有一个 -管理所有作业/任务的监控,错误处理等 -将任务分解成;一系列任务,并分派给task tracker
slave节点,一般是多台 -运行map task 和reduce task -并与jobTracker 交互,汇报状态
map task :解析每条数据记录,传递给用户编写的map()并执行,将输出结果写入本地磁盘 -如果为map-only作业,直接写入HDFS
reduce task :从map task 的执行结果中,远程读取输入数据,对数据进行排序,将数据按照分组传递给用户编写的reduce函数执行
resourcemanager -nodemanager
–applicationmaster –container –client
处理客户端请求 -启动/监控applicationManager -监控nodemanager -资源分配与调度
单个节点上的资源管理 -处理来自resourcemanager的命令 -处理来自applicationmaster的命令
对任务运行环境的抽象,封装了CPU,内存等 -多维资源以及环境变量,启动命令等任务运行相关的资源分配与调度
数据切分 -为应用程序申请资源,[分配给内部任务 -任务监控与容错
用户与Yarn交互的客户端程序 -提交应用程序,监控应用程序状态,杀死应用程序
将jabtracker和task Tracker进行分离,她由以下几大构成组件 -ResourceManager一个全局的资源管理器 -Nodemanager每个节点RM代理 -ApplicationManager表示每个应用 -每一个ApplicationMaster有多个Container在Nodemanager上运行
-单机 -伪分布式 -完全分布式
真机提供hadoop软件或者官网下载http://hadoop.apache.org [root@room12pc14 home]# cd /linux-soft/04/ [root@room12pc14 04]# ls ansible docker elk hadoop openstack [root@room12pc14 04]# scp -r hadoop/ root@192.168.1.60:/root //拷贝给真机 zookeeper-3.4.13.tar.gz 100% 35MB 135.6MB/s 00:00 kafka_2.12-2.1.0.tgz 100% 53MB 123.2MB/s 00:00 hadoop-2.7.7.tar.gz 100% 209MB 88.2MB/s 00:02
[root@nn01 ~]# yum -y install java-1.8.0-openjdk-devel [root@nn01 ~]# java -version openjdk version “1.8.0_131” OpenJDK Runtime Environment (build 1.8.0_131-b12) OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode) [root@nn01 ~]# jps 1235 Jps
[root@nn01 ~]# ls hadoop
[root@nn01 ~]# cd hadoop/
[root@nn01 hadoop]# ls //查看获取到了软件 hadoop-2.7.7.tar.gz kafka_2.12-2.1.0.tgz zookeeper-3.4.13.tar.gz
[root@nn01 hadoop]# tar -xf hadoop-2.7.7.tar.gz //解包 [root@nn01 hadoop]# ls hadoop-2.7.7 kafka_2.12-2.1.0.tgz hadoop-2.7.7.tar.gz zookeeper-3.4.13.tar.gz
[root@nn01 hadoop]# mv hadoop-2.7.7 /usr/local/hadoop //改路径 [root@nn01 hadoop]# cd /usr/local/hadoop [root@nn01 hadoop]# ls bin include libexec NOTICE.txt sbin etc lib LICENSE.txt README.txt share
[root@nn01 hadoop]# ./bin/hadoop //报错,hadoop找不到java Error: JAVA_HOME is not set and could not be found.
[root@nn01 hadoop]# rpm -ql java-1.8.0-openjdk //查找java安装路径 /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/bin/policytool /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/lib/amd64/libawt_xawt.so /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/lib/amd64/libjawt.so /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/lib/amd64/libjsoundalsa.so /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/lib/amd64/libsplashscreen.so /usr/share/applications/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64-policytool.desktop /usr/share/icons/hicolor/16x16/apps/java-1.8.0.png /usr/share/icons/hicolor/24x24/apps/java-1.8.0.png /usr/share/icons/hicolor/32x32/apps/java-1.8.0.png /usr/share/icons/hicolor/48x48/apps/java-1.8.0.png
[root@nn01 hadoop]# cd ./etc/hadoop/ //进入下2层目录 [root@nn01 hadoop]# ls capacity-scheduler.xml hadoop-policy.xml kms-log4j.properties ssl-client.xml.example configuration.xsl hdfs-site.xml kms-site.xml ssl-server.xml.example container-executor.cfg httpfs-env.sh log4j.properties yarn-env.cmd core-site.xml httpfs-log4j.properties mapred-env.cmd yarn-env.sh hadoop-env.cmd httpfs-signature.secret mapred-env.sh yarn-site.xml hadoop-env.sh httpfs-site.xml mapred-queues.xml.template hadoop-metrics2.properties kms-acls.xml mapred-site.xml.template hadoop-metrics.properties kms-env.sh slaves
[root@nn01 hadoop]# vim hadoop-env.sh //修改配置文件2行 25 export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre" 33 export HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"
[root@nn01 hadoop]# cd /usr/local/hadoop //进入目录 [root@nn01 hadoop]# pwd /usr/local/hadoop [root@nn01 hadoop]# ls bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share [root@nn01 hadoop]# ./bin/hadoop //运行 Usage: hadoop [–config confdir] [COMMAND | CLASSNAME] …
Most commands print help when invoked w/o parameters.
[root@nn01 hadoop]# mkdir /usr/local/hadoop/input //创建收集目录 [root@nn01 hadoop]# ls bin etc include input lib libexec LICENSE.txt NOTICE.txt README.txt sbin share [root@nn01 hadoop]# cp *.txt /usr/local/hadoop/input //拷贝文件到收集目录 [root@nn01 hadoop]# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount input output //调用jar包,运行,输入文件,输出文件
[root@nn01 hadoop]# cat output/part-r-00000 //查看统计结果,没有排序
…配置和测试完成…
