网络爬虫技术的重点之一是网络爬虫框架，因此《Python网络爬虫技术与应用》结合网络爬虫框架的相关案例重点介绍网络爬虫的常见框架，包括PySpider网络爬虫框架的安装和使用，Scrapy网络爬虫框架的安装和使用，以及Scrapy网络爬虫管理与部署。另外，《Python网络爬虫技术与应用》对Python网络爬虫开发需要的reguests库、Scrapy解析库、存储库、XPath进行了介绍，并介绍了requests库、正则表达式、XPath等的使用方法，还重点讲解了这些库的实际应用。 《Python网络爬虫技术与应用》以Python网络爬虫开发为主线，兼顾理论与实战，全面介绍可操作的Python环境与系统开发相关知识，以及大数据算法、大数据分析、大数据系统互补的作用。另外，《Python网络爬虫技术与应用》还赠送课程大纲、教学课件PPT、实验手册、各章习题及答案、期末试卷及答案、教学和实验视频，方便教师授课。 《Python网络爬虫技术与应用》可作为高等院校大数据、计算机、电子信息、软件技术相关专业研究生和高年级本科生的教材，也可作为大数据及编程爱好者的参考用书。

李贝，女，硕士，高级工程师，中国联通研究院网络智能运营研究高级工程师。工信部通信工程评标专家，2013年杭州市青工五小候选人，常年从事基于大数据的智能网络运营研究工作，通过阿里云ACE、ACP及PMP认证等。

前言 网络爬虫，也被称为网络机器人，能够帮助并取代在互联网上自动收集和组织数据的人。在大数据时代，信息收集是一项重要的任务，例如在搜索引擎中抓取和收集网站，在数据分析和挖掘中收集数据，在财务分析中收集财务数据。如果仅仅依靠人力资源来收集信息，不仅效率低下、操作烦琐，还会增加信息收集的成本。此时，可以使用网络爬虫来自动收集数据和信息。此外，Web爬虫还可以应用于舆情监测与分析、目标客户数据收集等领域。 使用Python是爬虫的最佳方式，因为它对初学者更友好，且原理简单，通过几行代码就可以实现基本的爬虫，其学习过程更流畅，能让学习者感受到更大的成就感。 在掌握基本的爬虫程序之后，学生将更加熟悉Python数据分析、Web开发，甚至机器学习。在此过程中，学生将熟悉基本的Python语法、库的使用以及如何查找文档。 《Python网络爬虫技术与应用》内容 《Python网络爬虫技术与应用》全面系统地讲解Python网络爬虫的体系应用，由浅入深地介绍网络爬虫方面的技术知识，对基于Python网络爬虫领域的技术做全面的介绍。原理部分，主要突出网络爬虫的理论基础，原生态网络爬虫中正则表达式与requests库的使用，HTML内容解析模拟浏览器模拟登录模拟验证的应用，Python与数据库的连接与使用，网络爬虫框架的介绍与实际应用等。系统开发环境配置与搭建部分，通过实例系统讲解Python环境的安装、部署、环境搭建、配置、应用程序部署等一系列过程，帮助学生搭建Python开发环境。 网络爬虫技术的重点之一是网络爬虫框架，因此《Python网络爬虫技术与应用》首先重点介绍网...