目    录

项目1  认识大数据 1

任务1.1  大数据时代 2

1.1.1  大数据时代的来临 2

1.1.2  大数据时代的发展 5

【任务评估】 9

任务1.2  什么是大数据 11

1.2.1  大数据的定义 11

1.2.2  大数据的特征 12

1.2.3  大数据的结构类型 13

1.2.4  数据科学与大数据 14

【任务评估】 15

任务1.3  大数据与其他新兴技术 17

1.3.1  云计算 17

1.3.2  物联网 19

1.3.3  人工智能 20

【任务评估】 21

项目总结 23

项目拓展训练 23

项目评价 25

项目2  了解大数据产业 27

任务2.1  区域大数据发展水平 28

2.1.1  总体概况 29

2.1.2  基础环境 31

2.1.3  产业发展 33

2.1.4  行业应用 34

【任务评估】 37

任务2.2  行业大数据发展水平 39

2.2.1  总体评价 39

2.2.2  发展特点 40

【任务评估】 43

任务2.3  大数据企业发展水平 45

2.3.1  大数据企业榜单 45

2.3.2  大数据企业细分领域 47

【任务评估】 49

任务2.4  大数据产业发展规划及

发展趋势 51

2.4.1  大数据产业发展规划 51

2.4.2  大数据产业发展趋势 54

【任务评估】 57

任务2.5  大数据产业人才需求 59

2.5.1  大数据产业人才需求概况 59

2.5.2  大数据产业人才能力要求 60

2.5.3  大数据产业人才及岗位分类 61

2.5.4  大数据产业人才与专业的

关系 61

【任务评估】 63

项目总结 65

项目拓展训练 65

项目评价 67

项目3  大数据平台与生态圈 69

任务3.1  认识Hadoop大数据平台 70

3.1.1  Hadoop的前世今生 71

3.1.2  Hadoop的特性 73

3.1.3  Hadoop核心组件 73

【任务评估】 79

任务3.2  Hadoop生态圈 81

3.2.1  Hadoop生态圈组件 81

3.2.2  Hadoop版本介绍 85

【任务评估】 87

任务3.3  认识Spark技术架构 89

3.3.1  Spark的发展 89

3.3.2  Spark与Hadoop的区别 90

3.3.3  Spark的运行架构与运行

流程 91

3.3.4  Spark生态圈 93

3.3.5  Spark运行模式 94

3.3.6  Spark的应用场景 95

【任务评估】 97

任务3.4  大数据计算架构 99

3.4.1  离线计算架构 99

3.4.2  实时计算架构 100

【任务评估】 103

项目总结 105

项目拓展训练 105

项目评价 107

项目4  大数据采集 109

任务4.1  了解大数据采集 110

4.1.1  数据采集的概念 110

4.1.2  数据采集的数据源 111

【任务评估】 113

任务4.2  大数据采集的方法与工具 115

4.2.1  日志采集系统 115

4.2.2  网络数据采集 116

4.2.3  数据库采集 118

4.2.4  分布式消息订阅 118

【任务评估】 121

项目总结 123

项目拓展训练 123

项目评价 125

项目5  大数据存储 127

任务5.1  大数据存储概述 128

5.1.1  大数据存储的概念 128

5.1.2  大数据存储的类型 129

5.1.3  大数据存储的关键技术 131

【任务评估】 133

任务5.2  大数据存储的方式 135

5.2.1  分布式存储 135

5.2.2  数据仓库 139

5.2.3  NoSQL数据库 143

5.2.4  NewSQL数据库 144

5.2.5  云数据库 145

【任务评估】 147

任务5.3  了解NoSQL数据库工具 149

5.3.1  HBase 149

5.3.2  MongoDB 150

5.3.3  Redis 153

5.3.4  LevelDB 154

5.3.5  Neo4j 155

【任务评估】 157

任务5.4  大数据安全 159

5.4.1  大数据安全概述 159

5.4.2  大数据安全体系 160

5.4.3  大数据安全关键技术 161

5.4.4  大数据安全法律法规 161

【任务评估】 165

项目总结 167

项目拓展训练 167

项目评价 169

项目6  大数据预处理 171

任务6.1  认识数据清洗 173

6.1.1  数据清洗的定义 173

6.1.2  数据清洗的原理 173

6.1.3  数据清洗的流程 174

6.1.4  数据清洗的方法 175

6.1.5  认识ETL 180

【任务评估】 183

任务6.2  数据清洗的常用工具 185

6.2.1  Excel 185

6.2.2  Kettle 186

6.2.3  DataCleaner 186

6.2.4  OpenRefine 187

6.2.5  Smartbi 187

【任务评估】 189

任务6.3  数据转换 191

6.3.1  数据离散化 191

6.3.2  数据平滑 193

6.3.3  属性构造 194

6.3.4  数据聚合 195

6.3.5  数据规范化 196

【任务评估】 199

任务6.4  数据标准 201

6.4.1  数据标准的概念 201

6.4.2  数据标准的分类 201

6.4.3  数据标准的管理 202

6.4.4  数据标准与数据资产的

关系 205

【任务评估】 207

任务6.5  数据质量与数据脱敏 209

6.5.1  数据质量的定义 209

6.5.2  数据质量的常见问题 210

6.5.3  数据脱敏 211

【任务评估】 213

项目总结 215

项目拓展训练 215

项目评价 217

项目7  大数据分析与挖掘 219

任务7.1  大数据分析 220

7.1.1  大数据分析的概念 221

7.1.2  大数据分析的流程 222

7.1.3  大数据分析的方法 222

7.1.4  大数据分析工具库 225

【任务评估】 229

任务7.2  数据挖掘 231

7.2.1  数据挖掘的概念 231

7.2.2  数据挖掘算法 234

7.2.3  大数据挖掘工具 235

【任务评估】 237

项目总结 239

项目拓展训练 239

项目评价 241

项目8  大数据可视化 243

任务8.1  数据可视化基础 244

8.1.1  数据可视化的概念 244

8.1.2  数据可视化的发展 244

8.1.3  数据可视化的优势 246

8.1.4  数据可视化的方法 247

【任务评估】 249

任务8.2  数据可视化常用图表 251

8.2.1  常用图表介绍 251

8.2.2  图表的选择与应用 260

【任务评估】 261

任务8.3  大数据可视化常用工具 263

8.3.1  大数据可视化工具 263

8.3.2  大数据可视化开源库 263

【任务评估】 265

项目总结 267

项目拓展训练 267

项目评价 269

项目9  中国信创与大数据中台 271

任务9.1  什么是信创 273

9.1.1  信创的概念 273

9.1.2  信创的发展历程 274

【任务评估】 277

任务9.2  信创的现状和发展前景 279

9.2.1  信创的现状 279

9.2.2  信创的发展前景 282

【任务评估】 285

任务9.3  信创之大数据中台 287

9.3.1  产品概述 287

9.3.2  产品优势 289

9.3.3  产品架构 291

9.3.4  产品适用场景 293

【任务评估】 297

项目总结 299

项目拓展训练 299

项目评价 301

项目10  大数据应用综合平台

典型案例 303

任务10.1  某市智慧城市建设项目

案例 304

10.1.1  项目背景 304

10.1.2  建设目标 305

10.1.3  技术架构 305

10.1.4  建设成效 306

【任务评估】 309

任务10.2  某市高新区城市驾驶舱平台

建设项目案例 311

10.2.1  项目背景 311

10.2.2  建设目标 311

10.2.3  技术架构 311

10.2.4  建设成效 312

【任务评估】 315

任务10.3  养老保险全国统筹数据平台

建设项目案例 317

10.3.1  项目背景 317

10.3.2  建设目标 317

10.3.3  技术架构 318

10.3.4  建设成效 319

【任务评估】 321

项目总结 323

项目拓展训练 323

项目评价 325

参考文献 327