目录
第1章爬虫与网络数据采集概述
1.1认识数据采集
1.1.1数据采集的概念
1.1.2常见的数据来源
1.1.3数据采集的方法
1.2走近网络爬虫
1.2.1网络爬虫概念与分类
1.2.2爬虫的应用场景
1.3网络数据采集的工作原理与流程
1.3.1网络数据采集的工作原理
1.3.2网络数据采集的流程
1.4网络数据采集的实现技术
1.4.1网络数据采集的编程语言
1.4.2网络数据采集的可视化工具
1.5网络数据采集的合法性
1.5.1Robots协议
1.5.2防爬虫的措施
1.5.3数据采集合法性案例
1.6Python爬虫环境搭建
1.6.1Python 版本简介与安装
1.6.2PyCharm的安装与配置
1.6.3Python爬虫相关库的简介与安装
1.6.4八爪鱼采集器的安装
1.7综合案例——采集“小说”类图书信息
第2章网络爬虫基础知识
2.1浏览器加载网页的过程
2.2网页基础知识
2.2.1网络开发技术
2.2.2网页的结构
2.2.3网页的分类
2.2.4网页数据的格式
2.3HTTP基础知识
2.3.1URL简介
2.3.2HTTP与HTTPS
2.3.3HTTP请求格式
2.3.4HTTP响应格式
2.3.5Cookie简介
2.4Google开发者工具
2.5综合案例——采集2024年中国大学排名
第3章爬虫流程与Requests库的使用
3.1Python爬虫基本流程
3.2Requests库的使用
3.2.1发起请求
3.2.2数据解析
3.2.3数据存储
3.3综合案例——采集排行榜电影信息
3.4拓展案例——采集翻译信息
第4章网页数据解析与提取
4.1Beautiful Soup 的使用
4.1.1Beautiful Soup简介与解析原理
4.1.2Beautiful Soup的应用
4.1.3综合案例——采集热门榜单热歌榜音乐信息
4.2正则表达式的使用
4.2.1正则表达式常用符号
4.2.2re模块及其方法的使用
4.2.3综合案例——采集Top250电影信息
4.3lxml库与XPath的使用
4.3.1lxml库简介与使用
4.3.2XPath语法与使用
4.3.3XPath开发工具
4.3.4综合案例——采集“爬虫”图书信息
4.4拓展案例——采集二手车信息
第5章爬虫数据的存储
5.1爬虫数据的存储方式
5.2存储至JSON文件
5.2.1JSON简介与语法
5.2.2JSON库的使用
5.2.3综合案例——采集交通数据
5.3存储至MongoDB数据库
5.3.1MongoDB数据库的安装
5.3.2Navicat的安装与使用
5.3.3MongoDB 数据库的使用
5.3.4综合案例——采集二手书信息
5.4存储至MySQL数据库
5.4.1MySQL的下载与安装
5.4.2MySQL数据库的基本操作
5.4.3MySQL数据库的使用
5.4.4综合案例——采集热门游记信息
5.5拓展案例——采集贴吧信息
第6章动态网页数据采集
6.1静态网页与动态网页的区分
6.2使用逆向分析法采集动态网页
6.2.1逆向分析法的使用
6.2.2综合案例——采集简书大学堂精选好课
6.3使用Selenium采集动态网页
6.3.1Selenium库和浏览器驱动的安装
6.3.2Selenium库的使用
6.3.3综合案例——采集图片数据
6.4拓展案例——采集非物质文化遗产信息
第7章反爬策略与反反爬技巧
7.1反爬虫与反反爬虫的定义
7.1.1反爬虫简介
7.1.2反反爬虫简介
7.2反爬虫技术
7.2.1静态页面反爬虫技术
7.2.2动态页面反爬虫技术
7.2.3反爬虫技术实践
7.3反反爬虫技术
7.3.1IP代理与轮询
7.3.2模拟自然人行为
7.3.3回避验证机制
7.3.4反反爬虫策略的动态调整
7.3.5综合案例——采集百度翻译
7.4拓展案例——采集招聘网岗位信息
第8章Scrapy 爬虫框架的应用
8.1Scrapy框架概述
8.1.1Scrapy简介与特点
8.1.2安装与配置Scrapy
8.2Scrapy的工作原理
8.3综合案例——采集古诗词排行榜
8.3.1爬虫的基本构建
8.3.2使用XPath和CSS选择器提取数据
8.4拓展案例——采集微博搜索文章信息
第9章实践案例——多类型数据采集与存储
9.1采集股票财经信息
9.1.1JSON数据解析
9.1.2股票财经信息采集
9.2采集聚合数据官网的天气数据
9.2.1聚合数据API使用流程
9.2.2天气数据采集与分析
9.3采集安居客租房信息
9.3.1采集需求分析
9.3.2采集思路分析
9.3.3数据采集及存储
参考文献
