本书主要满足网络爬虫从业者提升技术能力的需求。本书共9章，涉及经典爬虫框架Scrapy的架构、异步爬虫的原理及其实现、异步自动化浏览器控制库pyppeteer的使用、当下流行的反爬虫原理及其处理方案、基于常用通信中间件的分布式爬虫框架开发、Python常用的编码和加密的应用、针对前端深入的JavaScript分析策略和安全策略、网络搜索引擎的原理和技术实现，并在最后一章创建了一个垂直领域的搜索引擎系统。 本书面向网络爬虫开发的初、中级开发人员，以及对网络爬虫有一定基础的兴趣爱好者。

李科均，1995年出生，世界五百强企业synnex高级软件工程师，从事RPA开发及网络爬虫开发；在Python领域拥有三年开发经验，在知乎、CSDN、简书、个人博客等平台发布原创技术文章超过200篇，累积20W字；从事Python开发是出于热爱，平均每天投入学习时间2h-4h，对技术有着执着的研究；同时在synnex沉淀了丰富的实战经验，也学习了世界一流企业的开发和管理流程。

前言 什么是网络爬虫 狭义的网络爬虫是指从互联网网站上获取信息的程序，如常用的搜索引擎——百度、360、搜狗等。同时，网络爬虫也是一门复合型技术，涉及的技术领域广泛，如JavaScript、HTML、CSS、MySQL、Java等。广义的爬虫技术除狭义的网络爬虫的内容，还包括自动化。在这个概念下，网络爬虫不再只是从目标网站获取链接、图片、文字等信息，甚至不再是为了获取这些信息，而是为了完成某个特定任务，如定时打卡、自动统计、财务计算等。 网络爬虫的应用前景 随着互联网各大平台将网络爬虫列为防御的目标之一，网络爬虫与反爬虫技术开始全面角逐。网络爬虫行业越发地蓬勃发展，爬虫技术不断地更新迭代，同时，网络爬虫的技术体系愈加庞大和完善，不管是互联网的大公司还是小公司，或多或少都对网络爬虫有需求。此外，随着智能时代的到来，得益于RPA（Robotic Process Automation，机器人流程自动化)技术的发展，网络爬虫在自动化领域有着广泛的应用市场，如财务数据的统计分析、后台订单的自动化管理、用户的自动维护等，所以网络爬虫的需求呈现井喷式增长的趋势。 关于本书 本书指出了Python网络爬虫开发从业者的提升方向。在分布式爬虫方面，通过对Scrapy框架源码进行剖析，使读者全面掌握Scrapy的设计理念； 在异步编程方面，从异步编程原理到异步请求，再到数据库、文件读写的异步操作，对全体系做了全面的介绍，并从异步编程的思想上，详细介绍了异步的浏览器自动化工具pyppeteer； 在反爬虫方面，对指纹技术、滑动验证、字体和CSS样式反...