





定价:79元
印次:1-1
ISBN:9787302637981
出版日期:2023.07.01
印刷日期:2023.06.26
图书责编:夏毓彦
图书分类:零售
《Spark入门与大数据分析实战》基于Spark 3.3.1框架展开,系统介绍Spark生态系统各组件的操作,以及相应的大数据分析方法。《Spark入门与大数据分析实战》各章节均提供丰富的示例及其详细的操作步骤,并配套示例源码、PPT课件和教学大纲。 《Spark入门与大数据分析实战》共分11章,内容包括Scala编程基础、Spark框架全生态体验、Spark RDD、Spark SQL、Kafka、Spark Streaming、Spark ML、Spark GraphX、Redis等技术框架和应用,并通过广告点击实时大数据分析和电影影评大数据分析两个综合项目进行实战提升。 《Spark入门与大数据分析实战》适合Spark框架初学者,既可以作为大数据分析技术、大数据应用开发工程师的查询手册,也可以作为高等院校或高职高专计算机技术、软件工程、数据科学与大数据科学、智能科学与技术、人工智能等专业大数据课程的教材。
迟殿委,计算机软件与理论专业硕士,系统架构设计师。有多年企业软件研发经验和丰富的JavaEE、大数据技术培训经验,熟练掌握JavaEE与大数据全栈技术框架,擅长JavaEE系统架构设计、大数据分析与挖掘。著有图书《Hive入门与大数据分析实战》《Hadoop大数据分析技术》《Hadoop+Spark大数据分析实战》《Spring Boot企业级开发实战(视频教学版)》《深入浅出Java编程》《Spring Boot+Spring Cloud微服务开发》。
前 言 如今大数据技术已广泛应用于金融、医疗、教育、电信、政府等领域,各个行业都积累了大量的历史数据,并不断产生大量新数据,数据计量单位出现PB、EB、ZB、YB,甚至BB、NB、DB。大数据的处理方式与传统数据不同,需要通过分布式存储和分布式运算来实现,由此也催生了优秀的大数据处理框架和生态组件。Spark的特色在于它首先为大数据应用提供了一个统一的平台。从数据处理层面看,模型可以分为批处理、交互式、流处理等多种方式;而从大数据平台层面看,已有成熟的Hadoop、Cassandra、Mesos以及其他云的供应商。Spark整合了主要的数据处理模型,并能够很好地与现在主流的大数据平台集成。 许多大型互联网公司,如谷歌、阿里巴巴、百度、京东等都急需掌握大数据技术的人才,因此大数据相关人才出现了供不应求的状况。Spark作为继Hadoop之后的下一代大数据处理引擎,经过飞跃式发展,现已成为大数据产业中的一股中坚力量:RDD模型具有强大的表现能力,并通过不断完善自己的功能而逐渐形成了一套自己的生物圈,提供了全栈(full-stack)的解决方案,其中主要包括Spark内存中批处理、Spark SQL交互式查询、Spark Streaming流式计算、GraphX图计算和Spark ML机器学习算法库。 关于本书 本书基于Spark 3.3.1新版本展开,符合企业目前的开发需要。本书全面讲解Spark大数据技术的相关知识和实战应用,内容包括Scala编程基础、Spark框架全生态体验、Spark RDD、Spark SQL、Spark Streaming、Kafka、...
目 录
第1章 Spark开发之Scala编程基础 1
1.1 开发环境搭建 1
1.2 基础语法 4
1.3 函数 7
1.4 控制语句 9
1.5 函数式编程 12
1.6 模式匹配 17
1.7 类和对象 18
1.8 异常处理 22
1.9 Trait(特征) 23
1.10 文件I/O 24
第2章 Spark框架全生态体验 26
2.1 Spark概述 26
2.1.1 关于Spark 26
2.1.2 Spark的基本概念 27
2.1.3 Spark集群模式 28
2.2 Linux环境搭建 33
2.2.1 VirtualBox虚拟机安装 33
2.2.2 安装Linux操作系统 35
2.2.3 SSH工具与使用 42
2.2.4 Linux统一设置 43
2.3 Hadoop安装与配置 45
2.3.1 Hadoop安装环境准备 45
2.3.2 Hadoop伪分布式安装 49
2.3.3 Hadoop完全分布式环境搭建 55
2.4 Spark安装与配置 60
2.4.1 本地模式安装 61
2.4.2 伪分布模式安装 63
2.4.3 完全分布模式安装 66
2.4.4 Spark on YARN 68
2.5 spark-submit 72
2.5.1 使用spark-submit提交 72
2.5.2 spark-submit参数说明 73
2.6 DataFrame 75
2.6.1 DataFra... 查看详情
配套全书示例源码、PPT课件、作者答疑服务。"