目录
基础篇
第1章绪论31.1大数据概述3
1.2Hadoop概述4
1.3数据分析5
1.3.1数据分析流程5
1.3.2数据分析应用6
1.4本章小结7
习题17
第2章环境安装8
2.1Hadoop发行的版本8
2.2Hadoop集群架构9
2.3Hadoop集群搭建11
2.3.1Hadoop集群规划11
2.3.2安装JDK11
2.3.3安装Hadoop12
2.3.4Hadoop集群配置12
2.3.5格式化HDFS15
2.3.6Hadoop集群安装验证15
2.4安装Hive16
2.4.1Hive简介16
2.4.2Hive的安装16
2.4.3Hive的配置18
2.4.4安装验证20
2.5安装HBase21
2.5.1HBase简介21
2.5.2安装ZooKeeper21
2.5.3HBase安装及配置23
2.6安装Sqoop26
2.7本章小结27
习题227
目录〖3〗核心篇
第3章HDFS分布式文件系统313.1HDFS概述31
3.1.1GFS分布式文件系统31
3.1.2HDFS分布式文件系统32
3.2HDFS架构32
3.3HDFS读写流程35
3.3.1HDFS读取文件操作35
3.3.2HDFS写文件操作36
3.4访问HDFS37
3.4.1HDFS Shell命令37
3.4.2HDFS Java API编程39
3.5本章小结48
习题348
第4章MapReduce分布式计算框架49
4.1认识MapReduce49
4.1.1MapReduce编程思想49
4.1.2MapReduce编程模型49
4.1.3MapReduce编程实例——统计单词频次50
4.1.4MapReduce的局限性55
4.2YARN资源管理框架55
4.2.1YARN的诞生55
4.2.2YARN概述56
4.2.3YARN的基本框架57
4.2.4YARN的工作流程58
4.3MapReduce的工作机制59
4.4MapReduce的过程60
4.5MapReduce编程61
4.5.1Writable接口61
4.5.2编写Mapper类63
4.5.3编写Reducer类64
4.5.4Partitioner类66
4.5.5编写main方法67
4.6MapReduce编程实例: 计算均值67
4.6.1准备数据68
4.6.2设计思路68
4.6.3编写Mapper类68
4.6.4编写Reducer类68
4.6.5编写main方法69
4.7MapReduce编程实例: TopN70
4.7.1准备数据70
4.7.2设计思路71
4.7.3编写Mapper类71
4.7.4编写Reducer类72
4.7.5编写main方法73
4.8MapReduce编程实例: 二次排序73
4.8.1准备数据74
4.8.2设计思路74
4.8.3编写OrderProductPrice类74
4.8.4编写Mapper类75
4.8.5编写OrderPartitioner类75
4.8.6编写OrderGroupingComparator类76
4.8.7编写Reducer类76
4.8.8编写main方法77
4.9MapReduce编程实例: 连接77
4.9.1准备数据78
4.9.2设计思路78
4.9.3编写Mapper类78
4.9.4编写Reducer类79
4.9.5编写main方法79
4.10MapReduce编程实例: 倒排索引81
4.10.1正排索引81
4.10.2准备数据82
4.10.3设计思路83
4.10.4编写Mapper类83
4.10.5编写Reducer类83
4.10.6编写main方法84
4.11本章小结85
习题485
应用篇
第5章拉勾招聘岗位数据分析895.1项目背景89
5.2分析任务89
5.3系统设计90
5.3.1系统架构设计90
5.3.2开发流程设计91
5.3.3系统开发实验环境91
5.4数据集介绍92
5.5数据源存储92
5.6数据清洗及预处理93
5.7数据分析96
5.8数据分析可视化111
5.9部署运行119
5.9.1系统应用环境119
5.9.2系统打包部署119
5.10本章小结121
习题5122
第6章城市空气质量数据分析123
6.1项目背景123
6.2分析任务123
6.3系统设计124
6.3.1系统架构设计124
6.3.2开发流程设计125
6.3.3系统开发实验环境126
6.4数据集介绍126
6.5数据存储127
6.6数据清洗127
6.7数据分析130
6.8数据分析可视化154
6.9部署运行161
6.9.1系统应用环境161
6.9.2系统打包部署162
6.10本章小结163
习题6163
第7章深圳市地铁客流量数据分析164
7.1项目背景164
7.2分析任务165
7.3系统设计165
7.3.1系统架构设计165
7.3.2开发流程设计166
7.3.3系统开发实验环境167
7.4数据集介绍167
7.5数据存储168
7.6数据清洗及预处理168
7.7数据分析175
7.8数据分析可视化187
7.9部署运行191
7.9.1系统应用环境191
7.9.2系统打包部署192
7.10本章小结193
习题7194
第8章临沂市医保数据智能分析195
8.1项目背景195
8.2分析任务196
8.3技术准备196
8.3.1Hive简介196
8.3.2Hive的工作机制196
8.3.3Hive数据类型198
8.3.4Hive数据库操作200
8.3.5Hive数据表操作201
8.3.6Hive表查询操作203
8.3.7JDBC访问Hive208
8.4系统设计209
8.4.1系统架构设计209
8.4.2开发流程设计210
8.4.3系统开发实验环境211
8.5数据集介绍212
8.6数据存储212
8.7数据清洗及预处理213
8.8数据分析216
8.8.1Hive数据导入216
8.8.2Hive数据分析217
8.8.3Sqoop导出分析结果222
8.9数据分析可视化展示226
8.10部署运行231
8.10.1系统应用环境231
8.10.2系统打包部署232
8.11本章小结233
习题8233
第9章天猫婴幼儿用品销售数据分析234
9.1项目背景234
9.2分析任务235
9.3技术准备235
9.3.1HBase简介235
9.3.2HBase的数据模型236
9.3.3HBase的架构237
9.3.4HBase的应用场景240
9.3.5HBase Shell的操作241
9.3.6编程实现HBase数据表操作242
9.4系统设计246
9.4.1系统架构设计246
9.4.2开发流程设计247
9.4.3系统开发实验环境248
9.5数据集介绍248
9.6数据存储248
9.7数据清洗及预处理249
9.8数据存储至HBase253
9.9数据分析及可视化260
9.10部署运行287
9.10.1系统应用环境287
9.10.2系统打包部署288
9.11本章小结289
习题9290
参考文献291
