第一部分 数据分析基础
第1 章 认识大数据 … … … … … 2
1 .1 大数据的分类 … … … … … 2
1 .2 大数据的量级 … … … … … 3
1 .3 大数据的计算 … … … … … 4
1 .3 .1 MapReduce 分布式计算模式 … … … … … … 4
1 .3 .2 数据流并行计算模式 … … … … … … … … … … 5
1 .3 .3 P2P 分布式计算模式 … … … … … … … … … … 5
1 .4 大数据的类型 … … … … … 5
1 .4.1 表格数据 … … … … 5
1 .4.2 有序数据 … … … … 7
1 .4.3 图结构数据 … … … 7
1 .4.4 多媒体数据 … … … 8
1 .5 特征类型 … … … … … … … 9
1 .5 .1 根据度量级别分类 … … … … … … … … … … 10
1 .5 .2 根据取值范围分类 … … … … … … … … … … 11
1 .6 数据的重要性 … … … … … 12
1 .7 练习 … … … … … … … … … 13
第2 章 大数据获取 … … … … … … 15
2.1 网络爬虫 … … … … … 15
2.1 .1 网络爬虫的步骤 15
2.1 .2 网络爬虫的实现方法 … … … … … … … … … 15
2.1 .3 网络爬虫的实践案例 … … … … … … … … … 22
2.2 获取遥感器数据 … … 24
2.2.1 获取遥感器数据的方法 … … … … … … … … 25
2.2.2 获取遥感器数据的实践案例 … … … … … … 25
2.3 获取文件数据 … … … … … 26
2.3 .1 获取 TXT 文件数据的方法 … … … … … … 27
2.3 .2 获取 CSV 文件数据的方法 … … … … … … … 28
2.3 .3 获取 Excel 文件数据的方法 … … … … … … 28
2.3 .4 获取 HTML 文件数据的方法 … … … … … 29Ⅳ
2.3 .5 获取JSON 文件数据的方法 … … … … … … 29
2.3 .6 获取 PDF 文件数据的方法 … … … … … … … 30
2.3 .7 获取数据库文件数据的方法 … … … … … … 31
2.3 .8 文件大数据获取的实践案例 … … … … … … 32
2.4 练习 … … … … … … … … … 33
第3 章 数据仓库 … … … … … … … 35
3 .1 关于数据仓库 … … … 35
3 .1 .1 数据仓库的特点 35
3 .1 .2 数据仓库与数据库 … … … … … … … … … … 36
3 .1 .3 数据仓库与数据集市 … … … … … … … … … 37
3 .1 .4 数据仓库与数据湖 … … … … … … … … … … 37
3 .2 数据仓库的模型 … … 38
3 .2.1 数据仓库中的表 38
3 .2.2 维度模型 … … … 38
3 .3 数据仓库的数据流程 40
3 .4 数据仓库的关键技术 41
3 .4.1 ETL 技术 … … … 41
3 .4.2 OLAP 技术 … … 41
3 .5 数据仓库的实践案例 … … 45
3 .6 练习 … … … … … … … … … 47
第4 章 数据处理 … … … … … … … 49
4.1 数据清洗 … … … … … 49
4.1 .1 处理缺失值 … … 49
4.1 .2 处理异常值 … … 54
4.1 .3 数据清洗的实践案例 … … … … … … … … … 57
4.2 数据集成 … … … … … 58
4.2.1 实体识别 … … … 59
4.2.2 数据合并 … … … 59
4.2.3 冗余属性识别 … 62
4.2.4 数据集成的实践案例 … … … … … … … … … 65
4.3 数据变换 … … … … … 66
4.3 .1 连续特征离散化 66
4.3 .2 离散型特征编码 68
4.3 .3 数据规范化 … 71
4.3 .4 函数变换 … … … 75
4.3 .5 特征构造 … … … 77
4.3 .6 数据变换的实践案例 … … … … … … … … … 78Ⅴ
4.4 数据归约 … … … … … 79
4.4.1 数值归约 … … … 79
4.4.2 维度归约 … … … 82
4.5 练习 … … … … … … … … … 92
第二部分 数据分析核心与拓展
第5 章 数据分析 … … … … … … … 96
5 .1 基本统计分析方法 … 96
5 .1 .1 集中趋势度量 … 96
5 .1 .2 散布度度量 … … 99
5 .1 .3 基本统计分析的实践案例 … … … … … … … 101
5 .2 多维数据可视化分析 103
5 .2.1 一维数据可视化 103
5 .2.2 二维数据可视化 106
5 .2.3 三维数据可视化 111
5 .2.4 四维数据可视化 115
5 .2.5 五维数据可视化 117
5 .2.6 六维数据可视化 119
5 .2.7 多维数据可视化的实践案例 … … … … … … 121
5 .3 相关性分析方法 … … 135
5 .3 .1 统计学基础 … … 135
5 .3 .2 可视化线性相关 137
5 .3 .3 皮尔逊相关系数 137
5 .3 .4 斯皮尔曼相关系数 … … … … … … … … … … 138
5 .3 .5 相关性分析的实现方法 … … … … … … … … 139
5 .3 .6 相关性分析的实践案例 … … … … … … … … 141
5 .4 邻近性分析 … … … … 142
5 .4.1 邻近性的度量基础 … … … … … … … … … … 142
5 .4.2 二元特征的邻近性度量 … … … … … … … … 143
5 .4.3 标称特征的邻近性度量 … … … … … … … … 146
5 .4.4 序数特征的邻近性度量 … … … … … … … … 146
5 .4.5 数值特征的邻近性度量 … … … … … … … … 146
5 .4.6 邻近性度量的实践案例 … … … … … … … … 149
5 .5 练习 … … … … … … … … 151
第6 章 因果分析 … … … … … … … 155
6 .1 因果分析概述 … … … 155
6 .2 格兰杰因果检验 … … … 156
6 .2.1 稳定时间序列 … 156
6 .2.2 格兰杰因果检验的原理 … … … … … … … … 158Ⅵ
6 .2.3 格兰杰因果检验的步骤 … … … … … … … … 159
6 .2.4 格兰杰因果检验的实现方法 … … … … … … 160
6 .2.5 格兰杰因果检验的实践案例 … … … … … … 162
6 .3 结构因果模型 … … … 164
6 .3 .1 结构因果模型的原理 … … … … … … … … … 164
6 .3 .2 结构因果模型的实现方法 … … … … … … … 164
6 .3 .3 结构因果模型的实践案例 … … … … … … … 165
6 .4 基于双重机器学习的因果推断 … … … … … … … … 167
6 .4.1 双重机器学习的原理 … … … … … … … … … 167
6 .4.2 双重机器学习的实现方法 … … … … … … … 167
6 .4.3 双重机器学习的实践案例 … … … … … … … 168
6 .5 练习 … … … … … … … … 170
第7 章 文本大数据分析 … … … … 172
7.1 文本处理方法 … … … 172
7.1 .1 文本去重 … 172
7.1 .2 去无用词 … 172
7.1 .3 文本分词 … … … 173
7.1 .4 去停用词 … … … 175
7.2 文本分析方法 … … … 175
7.2.1 文本可视化 … … 175
7.2.2 文本情感分析 … 176
7.2.3 词频-逆文档频度 … … … … … … … … … … 177
7.2.4 文本相似度量 … 178
7.3 文本主题建模 … … … 180
7.3 .1 LDA 主题建模的原理 … … … … … … … … 180
7.3 .2 LDA 主题建模的实现方法 … … … … … … 181
7.4 文本分析实践案例 … … 182
7.4.1 文本处理的实践案例 … … … … … … … … … 183
7.4.2 文本可视化的实践案例 … … … … … … … … 184
7.4.3 文本情感分析的实践案例 … … … … … … … 185
7.4.4 TF-IDF 与余弦相似度的实践案例 … … … 188
7.4.5 LDA 主题建模的实践案例 … … … … … … 189
7.5 练习 … … … … … … … … 190
参考文献 192
