目    录

项目1  Linux系统的安装与配置 1

工作任务1.1  Linux安装环境准备 2

任务活动1.1.1  磁盘格式化 3

任务活动1.1.2  检测CPU虚拟化技术 4

任务活动1.1.3  开启CPU虚拟化技术 6

工作任务1.2  VMware的安装与配置 9

任务活动1.2.1  安装VMware Workstation 16 9

任务活动1.2.2  虚拟网络的配置 12

任务活动1.2.3  系统服务及虚拟适配器的启停 14

工作任务1.3  CentOS 7的安装与克隆 17

任务活动1.3.1  CentOS 7的安装 17

任务活动1.3.2  CentOS 7的克隆 29

项目工作总结 34

技能拓展训练 34

项目综合评价 35

项目2  Hadoop HDFS高可用集群搭建 38

工作任务2.1  Linux服务器Hadoop集群基础环境配置 40

任务活动2.1.1  网卡、主机名与IP地址映射配置 41

任务活动2.1.2  Linux常用命令的安装 44

任务活动2.1.3  Linux客户端软件工具的配置 44

任务活动2.1.4  阿里云yum源配置 51

任务活动2.1.5  升级OpenSSL协议 52

任务活动2.1.6  SSH免密码登录配置 56

任务活动2.1.7  集群时间同步配置 57

任务活动2.1.8  JDK的安装与配置 59

工作任务2.2  Hadoop集群NameNode单节点的安装与配置 61

任务活动2.2.1  在主节点上安装与配置Hadoop 67

任务活动2.2.2  在从节点上安装与配置Hadoop 69

任务活动2.2.3  格式化Hadoop的HDFS 69

工作任务2.3  Hadoop集群HDFS HA的安装与配置 75

任务活动2.3.1  ZooKeeper的安装与配置 77

任务活动2.3.2  HDFS HA的安装与配置 79

任务活动2.3.3  NameNode与ZKFC格式化 83

项目工作总结 91

技能拓展训练 92

项目综合评价 92

项目3  Hadoop YARN高可用集群搭建与维护 96

工作任务3.1  Hadoop集群YARN HA的安装与配置 97

任务活动3.1.1  停止Hadoop 集群所有组件服务进程 99

任务活动3.1.2  Hadoop YARN HA的安装与配置 100

工作任务3.2  操作HDFS的常用命令与编程方式 110

任务活动3.2.1  操作HDFS的常用命令 110

任务活动3.2.2  Eclipse集成Maven的开发环境搭建与配置 112

任务活动3.2.3  Java API编程方式实现HDFS文件读取 115

任务活动3.2.4  Java API编程方式实现HDFS文件写入 121

任务活动3.2.5  Java API编写MapReduce大数据计算程序 124

工作任务3.3  Hadoop集群异常处理与维护 133

任务活动3.3.1  Hadoop集群搭建异常处理 133

任务活动3.3.2  Hadoop集群日常维护与管理 135

项目工作总结 138

技能拓展训练 139

项目综合评价 139

项目4  HBase高可用集群搭建与操作 143

工作任务4.1  HBase的HA搭建 144

任务活动4.1.1  HBase基础配置 145

任务活动4.1.2  搭建HBase高可用集群 147

工作任务4.2  HBase的常用操作 152

任务活动  HBase shell操作 153

工作任务4.3  HBase常见异常处理与维护 159

任务活动4.3.1  HBase集群异常处理 159

任务活动4.3.2  HBase集群日常维护 160

项目工作总结 163

技能拓展训练 163

项目综合评价 164

项目5  Hive数据仓库工具搭建与操作 167

工作任务5.1  MySQL数据库安装 168

任务活动  MySQL数据库在线安装 169

工作任务5.2  Hive的安装与配置 174

任务活动5.2.1  Hive配置搭建 174

任务活动5.2.2  客户端beeline配置 176

工作任务5.3  Hive的常用数据操作 181

任务活动5.3.1  Hive基础操作 182

任务活动5.3.2  Hive的数据导入操作 183

任务活动5.3.3  导入HBase数据到Hive 184

工作任务5.4  Hive常见异常处理与维护 187

任务活动5.4.1  Hive搭建异常处理 187

任务活动5.4.2  Hive集群日常维护 188

项目工作总结 190

技能拓展训练 190

项目综合评价 191

项目6  某电商推荐系统大数据平台搭建案例 194

工作任务6.1  Spark的YARN模式集群部署 195

任务活动6.1.1  Spark集群部署安装 196

任务活动6.1.2  Spark的YARN高可用配置 197

工作任务6.2  MongoDB的安装与客户端连接 200

任务活动6.2.1  MongoDB服务端配置 200

任务活动6.2.2  MongoDB客户端配置 202

工作任务6.3  Kafka集群的安装与配置 205

任务活动  Kafka的安装与配置 206

工作任务6.4  Redis的安装与客户端连接 210

任务活动6.4.1  Redis服务端的安装 210

任务活动6.4.2  Redis客户端连接 212

工作任务6.5  Tomcat服务器的安装与配置 214

任务活动  Tomcat的搭建与配置 215

项目工作总结 218

技能拓展训练 218

项目综合评价 219

参考文献 222