前 言

在数字经济飞速发展的今天，“数据”已成为驱动行业创新、企业决策和社会进步的核心战略资源，被誉为“未来的石油”。然而，海量数据的价值挖掘离不开高效的采集、清洗、处理、分析与可视化技术，这也成为当前大数据领域人才亟须掌握的核心能力。为帮助读者系统掌握数据采集与处理的全流程技术，我们结合多年教学经验与工程实践，编写了这本案例驱动式教材。

《案例驱动式数据采集与预处理》是特色应用型课程“数据采集与预处理”的配套教材，以Python为核心编程语言，遵循“学以致用”理念，继承了课程建设团队此前出版的湖北省一流本科课程配套教材《案例驱动式Python基础与应用》的设计思路：以实际案例为主线、以问题为导向、以任务驱动模式推进。除第1章概述外，其余各章均以一个真实项目案例贯穿，每个案例设计2～4个层层递进的迭代版本，每个版本聚焦解决一两个核心问题，形成“提出问题—引出所需知识点—学习知识—运用知识解决问题”的完整闭环，让读者在实践中理解技术原理、掌握实战技能。

本书共9章，构建了从数据基础概念到高级应用的完整知识体系，系统讲解Python数据采集与处理全流程技术，助力读者快速掌握数据采集、预处理、存储、分析及可视化的核心技术与实战技巧。

第1章为概述，介绍数据与大数据的基本概念、类型、组织形式、价值及处理流程，同时讲解Python IDLE与PyCharm的安装配置，为后续学习奠定基础。

第2章聚焦静态网页爬取，以“贝壳网房源信息爬取”为案例，详细讲解网络爬虫的概念、工作流程，以及使用requests、urllib库获取网页数据，通过BeautifulSoup、XPath解析数据，并将结果保存为CSV、JSON文件的方法。

第3章探讨动态网页爬取，以“人民邮电出版社图书信息爬取”为案例，对比逆向分析法与Selenium模拟法的技术特点，并系统介绍动态网页的判定方法、核心数据接口定位、参数逆向分析，以及将爬取的数据存储到MySQL和MongoDB数据库的实现方案。

第4章围绕爬虫效率提升展开，以“证券之星股票数据爬取”为案例，讲解进程与线程的概念及区别，通过单进程、多进程(Process类和Pool进程池)、多线程技术优化爬虫性能，并对比不同方案的效率差异。

第5章介绍Scrapy框架的初步使用，以“古诗文网古诗名句爬取”为案例，讲解Scrapy框架的结构、工作流程、项目创建、爬虫编写、数据容器定义及数据存储方法，帮助读者快速上手框架开发。

第6章深入Scrapy框架应用，以“豆瓣网电影排行榜全站电影信息爬取”为案例，拓展框架高级特性，包括CrawlSpider爬虫实现全网站爬取、Scrapy动态网页爬取、中间件开发、反爬策略应对等，提升爬虫的健壮性与扩展性。

第7章专注系统日志数据采集，以“百里半教育平台用户行为数据采集”为案例，介绍日志采集工具Flume的原理、安装与使用，重点讲解Flume采集系统端口数据、采集日志文件到HDFS、采集MySQL数据到HDFS的具体方法。

第8章以“电商用户商品偏好分析”为案例，介绍Kettle的安装配置、核心组件(如转换与作业)，以及数据抽取、转换、加载的实战流程，实现不同数据源的整合与处理。

第9章以“电商销售数据分析”为案例，讲解使用pandas行数据获取、清洗(如重复值、缺失值、异常值处理)、分析(如描述性统计、排序、分组与聚合等)，并通过折线图、柱状图、散点图等Python可视化工具展示数据规律，挖掘数据价值。

《案例驱动式数据采集与预处理》注重理论与实践结合，案例贯穿每个章节，每章均配套真实项目案例，代码详细可复现，适合作为大数据、人工智能、计算机、软件工程相关专业的教材，也可作为数据采集与处理领域从业人员的实战参考用书。无论是零基础的初学者，还是有一定基础的技术爱好者，都能通过本书循序渐进地掌握数据采集与处理的核心技术，提升解决实际问题的能力。

本书由陈苏红主编、统稿和校订。其中，第 1至6 章及第 8 章由陈苏红编写，第 7 章由付忠旺、陈苏红编写，第 9 章由金兰编写。本书为特色应用型课程“数据采集与预处理”配套教材，是本校与武汉厚溥数字科技有限公司开展校企协同建设的落地成果。企业教师深度参与课程方案设计、内容开发与教材编撰，充分体现产教融合的建设思路。在此，谨向校企双方相关领导的鼎力支持致以谢意，同时向课程建设团队金兰和付忠旺老师的辛勤付出，表示由衷感谢。

为便于教学，本书配有教学课件、教学大纲、授课教案、微课视频、案例源代码、习题答案及教材配套软件，读者可通过扫描下方二维码下载。

编写过程中，我们得到了众多同行的帮助，也参阅了大量相关资料，在此衷心感谢给予支持和帮助的同事、朋友以及相关领域的专家学者，同时也感谢读者的选择与支持。

由于技术发展迅速，书中难免存在疏漏之处，恳请广大读者批评指正。

服务邮箱：476371891@qq.com、wkservice@vip.163.com。

编者

2026年4月