关 于 本 书 本书将教你如何使用PySpark执行自己的大数据分析程序，以实际的场景讲授如何使用PySpark以及为什么使用PySpark。你将学习如何有效地采集和处理大规模数据，以及如何编写自己的数据转换程序。读完本书后，你应该能够熟练地使用PySpark编写自己的数据分析程序。 本书目标读者 本书使用由浅入深的用例展开，从简单的数据转换一直到机器学习管道。本书涵盖了数据分析的整个生命周期，从数据采集到结果使用，添加了更多关于数据源使用和转换的实用技术。 本书主要面向数据分析师、数据工程师和数据科学家，他们希望将Python代码扩展到更大的数据集。理想情况下，你应该在工作中或学习编程时编写过一些与数据相关的程序。如果已经熟练使用Python编程语言及其生态系统，你会从本书中学到更多的实用内容。 Spark(当然还有PySpark)从面向对象和函数式编程中借鉴了很多内容。我认为，仅仅为了有效地使用大数据，就要求完全掌握两种编程范式是不合理的。如果你理解Python类、装饰器和高级函数，就能熟练使用书中一些更高级的结构，让PySpark按照你的意愿运行。如果你对这些概念不熟悉，我会在本书(如果适用)正文和附录中讨论PySpark。 本书组织结构：路线图 本书分为3部分。第Ⅰ部分介绍PySpark及其计算模型。本部分还会介绍如何构建和提交一个简单的数据程序，重点介绍在每个PySpark程序中都会用到的核心操作，如数据帧中的数据选择、筛选、连接和分组。 第Ⅱ部分通过引入分层数据进一步深入介绍数据转换，分层数据是PySpark中可扩展数据程序的关键元素。我们还通过明智地引入SQL代码，探索弹性分布式数据集/用户自定义函数，在PySpark中高效地使用pandas及窗口函数，使程序更具表现力、更加灵活并具有更好的性能。我们还会探讨Spark的报表功能和资源管理，以找出潜在的性能问题。 最后，第III部分在第Ⅰ部分和第Ⅱ部分的基础上介绍了如何在PySpark中构建机器学习程序。在构建和评估机器学习管道之前，使用数据转换工具包创建和选择特征。最后，创建自己的机器学习管道组件，确保我们的机器学习程序具有最大的可用性和可读性。 本书的大部分章节都有练习。你应该能够用学到的知识回答这些问题。 我建议你从头到尾按顺序阅读本书，并根据需要使用附录。如果你想直接深入某个主题，我仍然建议你在深入某一章节之前先学习第Ⅰ部分。下面是一些硬依赖和软依赖，有助于你更高效地阅读本书。 ● 第3章是第2章的直接延续。 ● 第5章是第4章的直接延续。 ● 第9章使用了第8章介绍的一些概念，但资深读者可以自己阅读。 ● 第12章、第13章和第14章最好依次阅读。 关于代码 本书最适合使用Spark 3.1或Spark 3.2：Spark 3中引入了许多新功能，目前大多数商业版本都默认使用该版本。在适当的时候，我会为Spark 2.3/2.4提供向后兼容的指令。不推荐Spark 2.2或更低版本。我还推荐使用Python 3.6及以上版本(本书中我使用的是Python 3.8.8)。安装说明见附录B。 可以在https://github.com/jonesberg/DataAnalysisWithPythonAndPySpark上找到本书的配套代码库，其中包含数据和代码。有些部分还包含本书所开发程序的可运行版本，以及一些可选的练习。可扫描封底二维码下载本书源代码。 本书包含了许多源代码的示例，有带编号的代码清单，也有正常的文本。在这两种情况下，源代码的格式都是固定等宽字体，以将其与普通文本区分开。有时，代码也会以粗体字显示，以突出显示与本章前面步骤不同的代码，例如在现有代码中添加了新功能。 在许多情况下，原始源代码被重新格式化；添加了换行符，并修改了缩进，以方便排版和印刷。在极少数情况下，即使这样也不能满足排版需求，代码清单还会包括行连续标记(➥)。此外，正文中源代码的注释通常会被删除。代码清单中大都包含注释，以突出重要的概念。 前　　言 虽然计算机的功能越来越强大，能够处理更大的数据集，但我们对数据的需求增长得更快。因此，我们构建了新的工具，以便在多台计算机上扩展大数据任务。这是有代价的，早期的工具很复杂，不仅需要用户管理数据程序，还需要用户管理计算机集群本身的运行状况和性能。我记得我曾尝试扩展自己的程序，但却得到“只需要对数据集进行采样，然后继续工作”的建议。 PySpark改变了游戏规则。从流行的Python编程语言开始，它提供了一个清晰可读的API来操作非常大的数据集。尽管如此，当你坐下来编写代码时，就像在操作一台复杂且功能强大的机器。PySpark集功能强大、表现力强、用途广泛于一体。通过强大的多维数据模型，无论多大的数据规模，都可以通过清晰的路径构建数据程序，以实现可伸缩性。 作为一名构建信用风险模型的数据科学家，我深深喜欢上PySpark。在即将把模型迁移到新的大数据环境时，我们需要设计一个计划：在保持业务连续运行的同时智能地转换我们的数据产品。作为一个自封的Python人，我的任务是帮助团队熟悉PySpark并加速过渡。当我有机会在不同的用例上与无数客户合作时，我对PySpark的喜爱程度呈指数级增长。这些项目的共同点是什么？大数据和大问题都可以通过强大的数据模型解决。需要注意的是，大多数学习Spark的材料都是针对Scala和Java的，Python开发人员只能将代码转换成他们喜欢的编程语言。我写本书是为了将PySpark作为数据分析师的优秀工具进行推广。幸运的是，Spark项目真的让Python成为主要参与者。现在，你拥有了扩展数据程序的强大工具，这是史无前例的。 而一旦大数据被驯服，就可以发挥数据的无限可能。 目 录

• 暂无课件
• 暂无样章
• 暂无网络资源

扫描二维码
下载APP了解更多

版权图片链接