Flink入门与实战
Flink是一个分布式处理引擎,用于对无界和有界数据流进行有状态的计算

作者:汪明

丛书名:大数据技术丛书

定价:89元

印次:1-3

ISBN:9787302583813

出版日期:2021.08.01

印刷日期:2024.08.02

图书责编:夏毓彦

图书分类:零售

电子书
在线购买
分享
内容简介
作者简介
前言序言
资源下载
查看详情 查看详情 查看详情

Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态的计算,广泛应用于大数据相关的实际业务场景中。本书是一本从零开始讲解Flink的入门教材,学习本书需要有Java编程基础。 本书共分10章,内容包括Flink开发环境搭建、Flink架构和原理、时间和窗口、状态管理和容错机制、数据类型与序列化、DataStream API和DataSet API、Table API和SQL、Flink并行、Flink部署与应用,最后以一个Flink实战项目为例,对Flink相关知识进行综合实践,其中涉及Web页面展示、WebSocket协议和Node.js服务等技术。 本书内容详尽、示例丰富,适合作为Flink初学者必备的参考书,也非常适合作为高等院校和培训机构大数据及相关专业的师生教学参考。

汪明,中国矿业大学硕士,徐州软件协会副理事长,某创业公司合伙人。从事软件行业十余年,发表论文数十篇。著有图书《Python大数据处理库PySpark实战》《TypeScript实战》《Go并发编程实战》。

前 言 随着物联网、5G以及大数据技术的发展,人类已经进入大数据时代,毫不夸张地说,未来IT相关的职位,一项必备技能就是大数据处理能力。当前,人类基于大数据和人工智能等技术,在特定领域中可以大大提升业务系统的智能化水平。 人类对于计算速度的追求从未停止,即使面对海量的数据,我们也希望大数据框架可以在非常低的延迟下进行响应,从而提升用户的体验。 主流的分布式大数据计算框架有Storm、Spark和Flink,由于阿里对Flink的收购以及改进,目前Flink社区非常活跃,社区一直致力于统一流处理和批处理API,并逐步增强Flink SQL相关功能,即期望通过SQL来满足大部分的大数据ETL处理场景。另外,随着Flink SQL功能的增强和发展,也大大降低了Flink学习的难度。 目前,Flink在百度、阿里、字节跳动、小米和腾讯等商业巨头中有成熟的应用,每日可以处理万亿的事件,且可以维护TB级别的状态信息。Flink支持多种编程语言,可以用Java、Scala以及Python进行大数据业务处理。与此同时,Flink支持灵活的窗口计算以及乱序数据处理,这相对于其他大数据计算框架来说,有比较强的优势。 如果你对实时大数据处理感兴趣,致力于构建分布式大数据处理应用程序,并且有一点Java编程基础,那么本书适合你。本书作为Flink的入门教材,由浅入深地对Flink大数据处理方法进行介绍,特别对常用的DataStream API和DataSet API、Table API 和SQL进行了详细的说明,最后结合实战项目,将各个知识点有机整合,做到理论联系实际。 本书涉及的技...

暂无课件

暂无样章

暂无网络资源

扫描二维码
下载APP了解更多

目录
荐语
查看详情 查看详情
目    录

第1章  Flink环境搭建 1

1.1  下载安装 1

1.1.1  什么是Flink 1

1.1.2  Flink用户 3

1.1.3  JDK安装 4

1.1.4  Scala安装 7

1.1.5  Python安装 10

1.1.6  FinalShell安装 12

1.2  配置与开发工具 15

1.2.1  基础配置 15

1.2.2  IDEA开发工具 17

1.3  编译 19

1.3.1  Scala项目模板 19

1.3.2  Java项目模板 24

1.3.3  Python项目 28

1.3.4  项目编译 30

1.4  运行Flink应用 31

1.4.1  单机Standalone模式 31

1.4.2  多机Standalone模式 37

1.4.3  On Yarn集群模式 37

1.5  本章小结 38

第2章  定义、架构与原理 39

2.1  流处理的应用场景 39

2.1.1  数据预处理场景 40

2.1.2  预警场景 40

2.1.3  实时数量统计场景 40

2.1.4  数据库交互场景 40

2.1.5  跟踪场景 40

2.1.6  基于数据流的机器学习场景 41

2.1.7  实时自动控制场景 41

2.2  流处理的原理 41

2.2.1  流数据特征 41

2.2.2  Dataflow模型 42

2.2.3  数据流图 43

2.2.4  流处理操作 45

2.2.5  窗口操作 46

2.3  Flink架构分析 49

2... 查看详情

本书针对Flink初学者,详细介绍Flink架构、原理、大数据处理机制和处理方法,以及Flink并行、部署与集群等方面的知识,最后通过一个实战项目来提高读者解决实际问题的能力。 查看详情