大数据的影响力正深入到各个领域和行业中。特别在商业、经济以及其他领域，将大量数据进行分析后，便可得到许多数据的关联性。这些关联性可用于预测商业趋势、营销研究、金融财务、疾病研究、打击犯罪等。大数据对每一个企业的决策方式将发生变革——决策方式将基于数据和分析的结果，而不是依靠经验和直觉。

信息科技（Information Technology，IT）浪潮的第一波是大型计算机，第二波是个人计算机（PC机），第三波是网络，第四波是社交媒体，第五波则是“大数据”。每一波的信息科技浪潮都会带来工作与生活方式的改变，创造大量商机、新的产业、大量的工作机会。例如，在网络时代，创造了淘宝、百度、Google（谷歌）、Amazon（亚马逊）等大公司，以及无数.com公司。

每一波浪潮开始时，相关人才的需求激增，从而造成相关人才的紧缺。因此对个人而言，如果能在浪潮兴起时就投入，往往成果很丰硕，并且有机会占有重要职位。例如，网络刚兴起时，每个公司都需要建立网站，但是这方面的人才当时相对不够，能掌握编写网页相关应用程序设计语言的工程师就能够获得高薪。之后，投入的人越来越多，这方面的工程师就没有当初那么吃香了。

之前的科技浪潮，也许你没有机会躬逢其盛，或是没有机会在浪潮初期进入。而目前大数据的浪潮方兴未艾，正是进入的好时机。根据IBM公司调查预估，大数据在2014年的市场规模为71亿美元，2015年则达到了180亿美元，并将以每年增长20％的速度持续成长。机会是给有准备的人的，学会了大数据分析的相关技能，让你有机会获得更好的薪资与职业发展前景。根据美国调查机构Robert Half Technology 2016年趋势报告，在美国，大数据工程师的薪水年增长8.9%，年薪大约13万至18万美金（约合人民币85万元~120万元）。因为人才短缺，企业不惜重金挖角。（搜索Robert Half Technology 2016 就可以下载此调查报告。）

《Hadoop + Spark大数据巨量分析与机器学习整合开发实战》的主题是Hadoop+Spark大数据分析与机器学习。众所周知，Hadoop是运用最多的大数据平台，然而Spark异军突起，与Hadoop兼容而且运行速度更快，各大公司也开始加入Spark的开发。例如，IBM公司加入Apache Spark社区，打算培育百万名数据科学家。谷歌（Google）公司与微软公司也分别应用了Spark的功能来构建服务、发展大数据分析云与机器学习平台。这些大公司的加入，也意味着未来更多公司会采用Hadoop+Spark进行大数据的数据分析。

然而，目前市面上虽然很多大数据的书，但是多半偏向理论或应用层面的介绍，网络上的信息虽然很多，但是也很杂乱。本书希望能够用浅显易懂的原理介绍和说明，再加上上机实践操作、范例程序，来降低大数据技术的学习门槛，带领读者进入大数据与机器学习的领域。当然整个大数据的生态系非常庞大，需要学习的东西太多。希望读者通过《Hadoop + Spark大数据巨量分析与机器学习整合开发实战》的学习，有了基本的概念后，能比较容易踏入这个领域，以便继续深入与研究其他大数据的相关技术。

林大贵