目录

第1章大数据技术概述1

1.1大数据概念与关键技术1

1.1.1大数据概念1

1.1.2大数据关键技术2

1.2代表性大数据技术3

1.2.1Hadoop4

1.2.2Spark8

1.2.3Flink10

1.2.4Beam13

1.3编程语言的选择14

1.4在线资源15

1.5本章小结16

1.6习题16

实验1Linux系统的安装和常用命令17

第2章Scala语言基础19

2.1Scala语言概述19

2.1.1计算机的缘起19

2.1.2编程范式20

2.1.3Scala简介22

2.1.4Scala的安装22

2.1.5HelloWorld23

2.2Scala的基础编程知识25

2.2.1基本数据类型和变量25

2.2.2输入输出28

2.2.3控制结构31

2.2.4数据结构35

2.3面向对象编程基础42

2.3.1类42

2.3.2对象48

2.3.3继承53

2.3.4参数化类型57

2.3.5特质59

2.3.6模式匹配64

2.3.7包67

2.4函数式编程基础68

2.4.1函数的定义与使用69

2.4.2高阶函数71

2.4.3闭包72

2.4.4偏应用函数和Curry化72

2.4.5针对容器的操作74

2.4.6函数式编程实例80

2.5本章小结81

2.6习题82

实验2Scala编程初级实践83

第3章Flink的设计与运行原理88

3.1Flink简介88

3.2选择Flink的原因89

3.2.1传统数据处理架构89

3.2.2大数据Lambda架构90

3.2.3流处理架构90

3.2.4Flink是理想的流计算框架91

3.2.5Flink的优势92

3.3Flink典型应用场景94

3.3.1事件驱动型应用94

3.3.2数据分析应用95

3.3.3数据流水线应用97

3.4Flink的统一数据处理97

3.5Flink技术栈99

3.6Flink工作原理100

3.7Flink编程模型101

3.8Flink的应用程序结构102

3.9Flink的数据一致性103

3.9.1有状态计算103

3.9.2数据一致性103

3.9.3异步屏障快照机制104

3.10本章小结105

3.11习题106

第4章Flink环境搭建和使用方法107

4.1安装Flink107

4.1.1基础环境107

4.1.2下载安装文件108

4.1.3配置相关文件108

4.1.4运行测试样例109

4.1.5Flink和Hadoop的交互110

4.2在Scala Shell中运行代码110

4.3开发Flink独立应用程序111

4.3.1安装编译打包工具Maven111

4.3.2开发批处理程序113

4.3.3开发流处理程序117

4.3.4使用IntelliJ IDEA开发Flink应用程序119

4.4设置程序运行并行度126

4.5Flink集群环境搭建127

4.5.1集群基础配置127

4.5.2在集群中安装Java129

4.5.3设置SSH无密码登录130

4.5.4安装和配置Flink131

4.5.5启动和关闭Flink集群133

4.6本章小结133

4.7习题134

实验3Flink和Hadoop的安装134

第5章DataStream API136

5.1DataStream编程模型136

5.1.1数据源137

5.1.2数据转换149

5.1.3数据输出160

5.2窗口的划分163

5.3时间概念163

5.4窗口计算165

5.4.1窗口计算程序的结构165

5.4.2窗口分配器166

5.4.3窗口计算函数170

5.4.4触发器177

5.4.5驱逐器180

5.5水位线183

5.5.1水位线原理183

5.5.2水位线的设置方法186

5.5.3水位线应用实例188

5.6延迟数据处理197

5.7状态编程201

5.8本章小结203

5.9习题203

实验4DataStream API编程实践204

第6章DataSet API207

6.1DataSet编程模型207

6.2数据源208

6.2.1文件类数据源208

6.2.2集合类数据源209

6.2.3通用类数据源209

6.2.4第三方文件系统213

6.3数据转换215

6.3.1数据处理类算子216

6.3.2聚合操作类算子217

6.3.3多表关联类算子220

6.3.4集合操作类算子223

6.3.5分区操作类算子223

6.4数据输出224

6.5迭代计算226

6.5.1全量迭代226

6.5.2增量迭代229

6.6广播变量230

6.7本章小结232

6.8习题232

实验5DataSet API编程实践233

第7章Table API&SQL236

7.1编程模型236

7.1.1程序执行原理236

7.1.2程序结构237

7.1.3TableEnvironment238

7.1.4注册表239

7.1.5查询表245

7.1.6输出表248

7.1.7DataStream/DataSet与Table的相互转换251

7.1.8时间概念258

7.2Flink Table API260

7.2.1Table API应用实例260

7.2.2扫描、投影和过滤261

7.2.3列操作263

7.2.4聚合操作263

7.2.5连接操作267

7.2.6集合操作268

7.2.7排序操作270

7.2.8插入操作270

7.2.9基于行的操作270

7.3Flink SQL280

7.3.1应用实例280

7.3.2数据查询与过滤操作282

7.3.3聚合操作282

7.3.4连接操作283

7.3.5集合操作283

7.4自定义函数285

7.4.1标量函数285

7.4.2表值函数287

7.4.3聚合函数289

7.5本章小结291

7.6习题292

实验6Table API& SQL编程实践292

第8章FlinkCEP296

8.1概述296

8.2Pattern API297

8.2.1个体模式297

8.2.2复合模式299

8.2.3模式组301

8.2.4匹配后跳过策略302

8.3模式的检测302

8.3.1匹配事件提取303

8.3.2超时事件提取303

8.4应用实例304

8.5本章小结308

8.6习题308

实验7FlinkCEP编程实践308

参考文献311