Spark SQL是 Spark大数据框架的一部分，支持使用标准SQL查询和HiveQL来读写数据，可用于结构化数据处理，并可以执行类似SQL的Spark数据查询，有助于开发人员更快地创建和运行Spark程序。 全书分为4篇，共9章，第一篇讲解了Spark SQL 发展历史和开发环境搭建。第二篇讲解了Spark SQL 实例，使得读者掌握Spark SQL的入门操作，了解Spark RDD、DataFrame和DataSet，并熟悉 DataFrame 各种操作。第三篇讲解了基于WiFi探针的商业大数据分析项目，实例中包含数据采集、预处理、存储、利用Spark SQL 挖掘数据，一步一步带领读者学习Spark SQL强大的数据挖掘功能。第四篇讲解了Spark SQL 优化的知识。 本书适合Spark初学者、Spark数据分析人员以及Spark程序开发人员，也适合高校和培训学校相关专业的师生教学参考。

纪 涵，数据挖掘、云计算爱好者，曾负责多个中小型网站的开发维护工作，曾参与开发设计多款面向校园服务的App，参与开发设计过多个基于Hadoop、Spark平台的大数据应用，有着丰富的流数据、结构化数据处理经验，现主要研究方向为机器学习、数据挖掘。

前 言 我们处于一个数据爆炸的时代！ 大量涌现的智能手机、平板、可穿戴设备及物联网设备每时每刻都在产生新的数据，然而带来革命性变革的并非海量数据本身，而是我们如何从这些数据中挖掘到有价值的信息，来辅助我们做出更加智能的决策。我们知道，在生产环境下，所谓的大数据往往是由数千万条、上亿条具有多个预定义字段的数据单元组成的数据集，是不是很像传统关系型数据库的二维数据表呢？那么我们是否也能找到一个像SQL查询那样简便的工具来高效地分析处理大数据领域中的海量结构化数据呢？没错，这个工具就是Spark SQL。 Spark SQL是Spark 用来操作结构化数据的高级模块，在程序中通过引入Spark SQL模块，我们便可以像从前在关系型数据库利用SQL（结构化查询语言）分析关系型数据库表一样简单快捷地在Spark大数据分析平台上对海量结构化数据进行快速分析，而 Spark 平台屏蔽了底层分布式存储、计算、通信的细节以及作业解析、调度的细节，使我们开发者仅需关注如何利用SQL 进行数据分析的程序逻辑就可以方便地操控集群来分析我们的数据。 本书内容 本书共分为四篇：入门篇、基础篇、实践篇、调优篇，所有代码均采用简洁而优雅的Scala语言编写，Spark框架也是使用Scala语言编写的。 第一部分 入门篇（第1、2章） 第1章简要介绍Spark的诞生、Spark SQL的发展历史以及Spark SQL的用处等内容，使读者快速了解Spark SQL背景知识，为以后的学习奠定基础。 第2章通过讲解Spark SQL开发环境的搭建、Spark作业的打包提交、常见问题的解...