





作者:余辉
定价:69元
印次:1-4
ISBN:9787302479673
出版日期:2017.09.01
印刷日期:2021.06.08
图书责编:夏毓彦
图书分类:零售
本书用于Hadoop+Spark快速上手,全面解析Hadoop和Spark生态系统,通过原理解说和实例操作每一个组件,让读者能够轻松跨入大数据分析与开发的大门。 全书共12章,大致分为3个部分,第1部分(第1~7章)讲解Hadoop的原生态组件,包括Hadoop、ZooKeeper、HBase、Hive环境搭建与安装,以及介绍MapReduce、HDFS、ZooKeeper、HBase、Hive原理和Apache版本环境下实战操作。第2部分(第8~11章)讲解Spark的原生态组件,包括Spark Core、Spark SQL、Spark Streaming、DataFrame,以及介绍Scala、Spark API、Spark SQL、Spark Streaming、DataFrame原理和CDH版本环境下实战操作,其中Flume和Kafka属于Apache顶级开源项目也放在本篇讲解。第3部分(第12章)讲解两个大数据项目,包络网页日志离线项目和实时项目,在CDH版本环境下通过这两个项目将Hadoop和Spark原生态组件进行整合,一步步带领读者学习和实战操作。 本书适合想要快速掌握大数据技术的初学者,也适合作为高等院校和培训机构相关专业师生的教学参考书和实验用书。
余辉,中国科学院大学硕士研究生毕业,研究方向为云计算和大数据。现供职于某上市公司担任技术经理,并在 Oracle OAEC人才产业集团大数据学院担任大数据讲师。 曾在清华大学电子工程系NGNLab研究室担任软件工程师。
近几年来,随着计算机和信息技术的迅猛发展和普及应用,行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。大数据技术快速火热,大数据开发工程师更是供不应求。本书是一本Hadoop+Spark快速上手的书,从Hadoop生态系统和Spark生态系统全面原理解析和实战操作每一个组件,每一个知识点都讲得十分细致,让读者能够轻松地跨入大数据开发工程师的大门。 大数据工程师薪资 近几年大数据岗位尤其火热,大数据开发工程师供不应求,市面上大数据开发工程师起步就是8千元,1年工作经验1万2千元,2年工作经验1万5千元,3年工作经验2万以上。根据每个人自身学习能力不同,有人2年就可以达到2万元以上。 下图是神州数码于2017年6月6日发布的一则招聘信息。 本书内容 全书共12章,分为3个部分,第1部分(第1~7章)讲解了Hadoop的原生态组件,包括Hadoop、ZooKeeper、HBase、Hive环境搭建与安装,以及如何对MapReduce、HDFS、ZooKeeper、HBase、Hive进行原理介绍和Apache版本环境下实战的操作。第2部分(第8~11章)讲解Spark的原生态组件,包括Spark Core、Spark SQL、Spark Streaming、DataFrame,以及如何对Scala、Spark API、Spark SQL、Spark Streaming、DataFrame进行原理介绍和CDH版本环境下实战的操作,其中Flume和Kafka属于Apache顶级开源项目也放在本篇讲解。第3部分(第12章)讲解大数据项目,包络网页日志离线项目...
1.1 Hadoop简介 1
1.2 Hadoop版本和生态系统 3
1.3 MapReduce简介 7
1.4 HDFS简介 8
1.5 Eclipse+Java开发环境搭建 10
1.5.1 Java安装 10
1.5.2 Maven安装 11
1.5.3 Eclipse安装和配置 12
1.5.4 Eclipse创建Maven项目 16
1.5.5 Eclipse其余配置 19
1.6 小结 21
第2章 Hadoop集群搭建 22
2.1 虚拟机简介 22
2.2 虚拟机配置 24
2.3 Linux系统设置 31
2.4 Apache版本Hadoop集群搭建 36
2.5 CDH版本Hadoop集群搭建 44
2.5.1 安装前期准备 44
2.5.2 Cloudera Manager安装 45
2.5.3 CDH安装 46
2.6 小结 55
第3章 Hadoop基础与原理 56
3.1 MapReduce原理介绍 56
3.1.1 MapReduce的框架介绍 56
3.1.2 MapReduce的执行步骤 58
3.2 HDFS原理介绍 59
3.2.1 HDFS是什么 59
3.2.2 HDFS架构介绍 59
3.3 HDFS实战 62
3.3.1 HDFS客户端的操作 62
3.3.2 Java操作HDFS 65
3.4 YARN原理介绍 69
3.5 小结 71
第4章 ZooKeeper实... 查看详情
解析Hadoop + Spark常用组件原理和实战操作,让读者快速了解组件原理和应用。
结合Hadoop + Spark原生态组件操作,使得读者了解当今互联网应用极为广泛的集群技术。
帮助读者构建Hadoop + Spark两大生态系统全局观。
查看详情