本书主要以纯案例驱动的形式，分别使用和结合使用requests库、selenium库，从互联网上收集数据。主要内容包括收集静态网页数据，网页解析，JSON数据，JSON解析，多级翻页，cookie和session，验证登录，多线程，数据的存储，收集到的数据包括静态网页数据、json、图片、音频、视频等数据，并对获取的数据进行清洗。适合Python初学者，也适合研究Python的广大科研人员、学者、工程技术人员。本教材采用纯的案例，和简单的注释，其他一些先修的知识是在其他课程有开设。

韩莹，防灾科技学院教师，讲授“数据科学与大数据”课程，本教材采用纯的案例，和简单的注释，其他一些先修的知识是在其他课程有开设。

前言 现阶段，随着大数据和人工智能技术的研究不断深入发展，网络数据采集与清洗越来越具有较为广泛的应用范围。本书是为“数据采集与清洗”课程编写的教材，其内容选取符合教学大纲要求，以案例驱动展开，兼顾内容的广度和深度，适用面广。 本书的第1章主要阐述网络爬虫的基本概念、基本流程、爬虫合法性问题、反爬虫技术以及爬虫的预备知识。第2~9章主要讲解爬虫的各种技术，分别讨论Requests库、JSON数据爬取、XPath解析及网页数据爬取、IP代理、Selenium库、Selenium与Requests结合使用、异步爬虫、正则表达式等基本技术的实现； 爬取的内容包括HTML文档、JSON数据、图片、音频、视频，以及这些类型数据的持久化保存。第10章讲解数据的简单清洗。第11章讲解一个综合案例，结合Requests和Selenium，分别采用单线程和多线程实现对不同网站的数据爬取，并进行相应的数据清洗操作。 全书采用Python为主要描述语言。Python是一种面向对象的高级通用脚本编程语言，其语法简洁，简单易懂。相比其他语言，Python更容易配置，在字符处理方面灵活，并且在爬虫程序开发中具有先天的优势，是开发者的首选编程语言。Python最初被用于编写Shell(自动化脚本)，伴随着版本不断更新以及语言新功能的加入，其作为爬虫编程语言优势更加突出。因此，越来越多的开发者选择Python用于大型爬虫项目开发。Python自带有多种爬取模板，可以利用Requests和Selenium第三方库模拟人工浏览器访问的行为，实现起来便捷； 爬虫程序爬取网页之后，需要对网...