本书内容涵盖了目前使用最为广泛的大数据处理系统Hadoop生态圈中的几大核心软件系统：分布式大数据处理系统Hadoop、数据库HBase、数据仓库工具Hive、内存大数据计算框架Spark和Spark SQL，详细介绍了它们的架构、工作原理、部署方法、常用配置、常用操作命令、SQL引擎等内容。本书对上述几大系统的各种安装部署方式给出了详细步骤，常用命令也都有具体示例介绍，是一本实操性很强的工具书，能帮助初学者快速掌握这几款常用的大数据处理系统。 本书以浅显易懂的语言风格和图文并茂的操作示例引领读者迈入大数据实践之门，可以作为培养应用型人才的课程教材，也可作为开发人员的自学教材和参考手册。

袁晓东-数据库和大数据专家，1998年毕业于南京大学计算机系，获软件博士学位。曾任职于Oracel公司纽约分部、趋势科技南京研发中心，现为南京市领军型科技创业人才，云白科技创始人，江苏省计算机学会软件专委会委员，东南大学研究生院校外导师。

前 言 近年来信息技术迅速发展，互联网、移动、云计算、物联网等技术不断浸入到人们的生活和各行业中，影响和改变着传统的生活与工作方式。普及的移动设备、随处部署的物联网设备、互联网后台服务、云计算中心时刻都在产生大量的数据，由此产生了数据的爆炸式增长。企业现在要处理的数据无论从规模还是产生速度上都远远超过了以前，传统的数据处理技术已无法适应当前需求。大数据处理技术因此诞生并迅速发展，一方面满足了传统的数据处理需求，另一方面利用大数据技术挖掘出的有价值信息促进了信息技术的应用和发展。 大数据技术最初发展于互联网搜索引擎公司，如Google、YAHOO!等，这些公司要检索海量的互联网数据，对大数据处理有着实际的需求。Google公司于2003年发表了分布式文件系统论文，于2004年发表了MapReduce数据处理框架论文，把Google的大数据处理方法和系统公开了。随后基于这两篇论文的开源项目Hadoop诞生了，并在2006年发布了0.1.0版本。YAHOO!公司最初尝试了Hadoop，在2006年部署了300台机器的集群，并且逐步扩大集群规模。由于使用Hadoop处理大数据非常有效，并且Hadoop是开源软件，可以使用普通的机器搭建集群，不少公司开始使用Hadoop。从2007年的3家公司到2008年的20家公司，使用Hadoop的公司越来越多，包括YAHOO!、Facebook、腾讯、阿里巴巴等。其中不少公司还参与到Hadoop开源项目中，截止到2011年Facebook、LinkedIn、eBay、IBM集体贡献了20万行代码。大公司使用并参与改进Hadoop，使得Had...