本书以Hadoop 3.x及其周边框架为主线，介绍了整个Hadoop生态系统主流的大数据开发技术。全书共16章，第1章讲解VMware中CentOS 7操作系统的安装；第2章讲解操作系统集群环境的配置；第3~16章讲解Hadoop生态系统各框架HDFS、MapReduce、YARN、ZooKeeper、HBase、Hive、Sqoop和数据实时处理系统Flume、Kafka、Storm、Spark以及分布式搜索系统Elasticsearch等的基础知识、架构原理、集群环境搭建，同时包括常用的Shell命令、API操作、源码剖析，并通过案例演示了各个框架的实际应用。读者即使没有任何大数据基础，通过阅读本书，也可以对照书中的步骤成功搭建属于自己的大数据集群并独立完成项目开发。 本书通俗易懂，内容丰富，适合大数据开发初学者、大数据运维人员以及大数据分析与挖掘的从业者阅读，也可作为培训机构和大专院校大数据专业课程的教学用书。

张伟洋,大数据领域资深专家，拥有多年互联网公司软件研发经验，曾在互联网旅游公司任软件研发事业部经理。先后多次为中国海洋大学、曲阜师范大学、青岛理工大学等高校举行大数据专题讲座，对Hadoop及周边大数据框架ZooKeeper、Hive、HBase、Storm、Spark、Flink等有深入的研究。已出版《Flink大数据分析实战》《Spark大数据分析实战》等图书，公众号 “奋斗在IT” 的创办人。

前 言 当今互联网已进入大数据时代，大数据技术已广泛应用于金融、医疗、教育、电信、政府等领域。各行各业每天都在产生大量的数据，数据计量单位已从B、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB。预计未来几年，全球数据将呈爆炸式增长。谷歌、阿里巴巴、百度、京东等互联网公司都急需掌握大数据技术的人才，而大数据相关人才却出现了供不应求的 状况。 Hadoop作为大数据生态系统中的核心框架，专为离线和大规模数据处理而设计。Hadoop的核心组成HDFS为海量数据提供了分布式存储；MapReduce则为海量数据提供了分布式计算。很多互联网公司都使用Hadoop来实现公司的核心业务，例如华为的云计算平台、淘宝的推荐系统等，只要和海量数据相关的领域都有Hadoop的身影。 本书作为Hadoop 3.x及其周边框架的入门书，知识面比较广，涵盖了当前整个Hadoop 3.x生态系统主流的大数据开发技术。内容全面，代码可读性强，以实操为主，理论为辅，一步一步手把手对常用的离线计算以及实时计算等系统进行了深入讲解。 全书共16章，第1章讲解VMware中CentOS 7操作系统的安装；第2章讲解大数据开发之前对操作系统集群环境的配置；第3~16章讲解Hadoop 3.x生态系统各框架HDFS、MapReduce、YARN、ZooKeeper、HBase、Hive、Sqoop和数据实时处理系统Flume、Kafka、Storm、Spark以及分布式搜索系统Elasticsearch等的基础知识、架构原理、集群环境搭建，同时包括常用的Shell命令、API操作、...