提要文摘: | 本书分为八章。首章介绍Hadoop生态系统及其发展历程。大家可以通过此章内容了解到Hadoop是一个开放的生态系统, 里面有很多项目组成, 包括数据采集类的项目、数据处理类的项目和数据可视化类的项目等; 第二章介绍Hadoop的核心组件, 包括HDFS、MapReduce和Yarn, 通过此章的学习。大家可以了解到Hadoop三大核心组件的基本组成及运行原理; 第三章介绍Hadoop集群环境的搭建。第四章主要介绍Hadoop生态系统中非常常用、非常实用又简单易用的Hive组件, 介绍其原理及安装方法; 第五章主要介绍Hive的使用, 了解Hive中DDL和DML语法知识 (通过前面五章的学习。大家可以独立搭建Hadoop集群, 并上传文件到HDFS中, 并且利用MapReduce或者Hive对数据文件进行统计分析); 第六章进入Hadoop生态系统中内存计算的学习, 选用Spark组件, 着重介绍Spark的内存计算的原理及运行模式; 第七章介绍Spark的编程及SparkSQL的使用。通过这两部分的学习, 大家可以完成Spark的安装部署, 了解Spark的适用场合, 学会Spark编程和SparkSQL对数据进行分析; 第八章为SparkMLLib的内容。通过这一章的学习, 大家可以利用SparkMLLib完成较复杂的一些数据分析, 例如分类、聚类和关联分析等。 |