目录

第一部分 概 述

第1 章 人工智能基础… …………………………………………………………………… 2

1. 1 人工智能 …………………………………………………………………………… 2

1. 1. 1 人工智能的由来 …………………………………………………………… 2

1. 1. 2 人工智能学科 ……………………………………………………………… 3

1. 2 机器学习 …………………………………………………………………………… 6

1. 2. 1 机器学习简介 ……………………………………………………………… 6

1. 2. 2 机器学习的类别 …………………………………………………………… 7

1. 2. 3 机器学习的应用 …………………………………………………………… 9

本章小结 ………………………………………………………………………………… 10

第2 章 Python 环境搭建……………………………………………………………………11

2. 1 软件的下载与安装 ………………………………………………………………… 11

2. 1. 1 平台一：海龟编辑器 ……………………………………………………… 11

2. 1. 2 平台二： PyCharm ………………………………………………………… 13

2. 2 必需库功能简介 …………………………………………………………………… 20

2. 2. 1 numpy——基础科学计算库 ……………………………………………… 20

2. 2. 2 SciPy——科学计算工具集 ……………………………………………… 22

2. 2. 3 Pandas——数据分析利器 ………………………………………………… 23

2. 2. 4 matplotlib——图形绘制法宝 ……………………………………………… 26

IV 走进人工智能——机器学习原理解析与应用

2. 2. 5 Sklearn——机器学习神器 ………………………………………………… 28

本章小结 ………………………………………………………………………………… 30

第二部分 分 类

第3 章 K 近邻算法………………………………………………………………………… 33

3. 1 K 近邻算法的原理 ………………………………………………………………… 33

3. 2 K 近邻算法的应用 ………………………………………………………………… 37

3. 2. 1 K 近邻算法的常用参数 …………………………………………………… 37

3. 2. 2 应用案例一：小说分类 …………………………………………………… 37

3. 2. 3 应用案例二：糖尿病诊断 ………………………………………………… 39

3. 3 K 近邻算法的特点 ………………………………………………………………… 40

本章小结 ………………………………………………………………………………… 41

第4 章 决策树… ………………………………………………………………………… 42

4. 1 决策树的原理 ……………………………………………………………………… 42

4. 1. 1 决策树的分类过程 ………………………………………………………… 42

4. 1. 2 决策树的具体组成 ………………………………………………………… 43

4. 1. 3 构建决策树的相关概念 …………………………………………………… 44

4. 2 决策树的构建 ……………………………………………………………………… 47

4. 2. 1 建树 ………………………………………………………………………… 47

4. 2. 2 剪枝 ………………………………………………………………………………… 49

4. 3 决策树的应用 ……………………………………………………………………… 50

4. 3. 1 环境补充搭建 ……………………………………………………………… 50

4. 3. 2 决策树的常用参数 ………………………………………………………… 50

4. 3. 3 应用案例：影院会员观影喜好分析 ……………………………………… 51

4. 4 决策树的特点 ……………………………………………………………………… 53

本章小结 ………………………………………………………………………………… 53

第5 章 随机森林… ……………………………………………………………………… 54

5. 1 随机森林的原理 …………………………………………………………………… 54

5. 1. 1 集成学习 …………………………………………………………………… 54

5. 1. 2 随机森林的分类过程 ……………………………………………………… 55

目录V

5. 2 随机森林的构建 …………………………………………………………………… 57

5. 2. 1 训练样本随机采样 ………………………………………………………… 58

5. 2. 2 样本特征随机选择 ………………………………………………………… 59

5. 3 随机森林的应用 …………………………………………………………………… 59

5. 3. 1 环境补充搭建 ……………………………………………………………… 59

5. 3. 2 RandomForestClassifier 类 ………………………………………………… 60

5. 3. 3 应用案例一：红酒分类——决策树与随机森林分类器效果对比 ……… 60

5. 3. 4 应用案例二：影院会员观影喜好分析 …………………………………… 61

5. 4 随机森林的特点 …………………………………………………………………… 67

本章小结 ………………………………………………………………………………… 68

第6 章 支持向量机… …………………………………………………………………… 69

6. 1 支持向量机的逻辑原理 …………………………………………………………… 69

6. 2 支持向量机的数学原理解析 ……………………………………………………… 71

6. 2. 1 线性可分的情况 …………………………………………………………… 71

6. 2. 2 近似线性可分的情况 ……………………………………………………… 73

6. 2. 3 线性不可分的情况 ………………………………………………………… 74

6. 3 支持向量机中的核函数 …………………………………………………………… 76

6. 3. 1 支持向量机中常用核函数介绍 …………………………………………… 77

6. 3. 2 支持向量机中核函数的应用 ……………………………………………… 78

6. 4 支持向量机的应用 ………………………………………………………………… 80

6. 4. 1 SVM 类的常用参数 ……………………………………………………… 80

6. 4. 2 应用案例：情绪分类 ……………………………………………………… 80

本章小结 ………………………………………………………………………………… 84

第7 章 贝叶斯算法… …………………………………………………………………… 85

7. 1 贝叶斯算法的原理 ………………………………………………………………… 85

7. 1. 1 贝叶斯公式 ………………………………………………………………… 85

7. 1. 2 贝叶斯算法的原理（以朴素贝叶斯算法为例） ………………………… 89

7. 1. 3 贝叶斯算法的类别 ………………………………………………………… 90

7. 2 贝叶斯算法的应用 ………………………………………………………………… 91

7. 2. 1 调用方法 …………………………………………………………………… 91

7. 2. 2 应用案例：识别毒蘑菇 …………………………………………………… 91

VI 走进人工智能——机器学习原理解析与应用

7. 3 贝叶斯算法的特点 ………………………………………………………………… 93

本章小结 ………………………………………………………………………………… 94

第三部分 回 归

第8 章 线性回归… ……………………………………………………………………… 97

8. 1 一元线性回归的原理 ……………………………………………………………… 98

8. 2 一元线性回归的应用 …………………………………………………………… 100

8. 2. 1 LinearRegression 类的常用参数 ………………………………………… 100

8. 2. 2 应用案例：房屋翻修成本预测 ………………………………………… 101

8. 3 多元线性回归的原理 …………………………………………………………… 103

8. 4 多元线性回归的应用 …………………………………………………………… 105

8. 5 线性回归算法的特点 …………………………………………………………… 107

本章小结 ……………………………………………………………………………… 108

第9 章 多项式回归… ………………………………………………………………… 109

9. 1 一元多项式回归的原理 ………………………………………………………… 110

9. 2 一元多项式回归的应用 ………………………………………………………… 114

9. 2. 1 PolynomialFeatures 类的常用参数 ……………………………………… 114

9. 2. 2 应用案例：红酒价值预测 ……………………………………………… 114

9. 3 多元多项式回归的原理 ………………………………………………………… 117

9. 4 多元多项式回归的应用 ………………………………………………………… 119

9. 5 多项式回归的特点 ……………………………………………………………… 120

本章小结 ……………………………………………………………………………… 120

第10 章 LASSO 回归与岭回归… …………………………………………………… 122

10. 1 L1 范数正则化——LASSO 回归 …………………………………………… 123

10. 1. 1 LASSO 回归中的alpha 参数调节 …………………………………… 125

10. 1. 2 LASSO 类的常用参数 ……………………………………………… 125

10. 1. 3 应用案例：对糖尿病数据集进行拟合 …………………………… 126

10. 2 L2 范数正则化——岭回归 …………………………………………………… 130

10. 2. 1 岭回归中的alpha 参数调节 ………………………………………… 131

10. 2. 2 Ridge 类的常用参数 ………………………………………………… 132

目录VII

10. 2. 3 应用案例：对糖尿病数据集进行拟合 …………………………… 132

10. 3 LASSO 回归与岭回归的异同 ………………………………………………… 137

10. 3. 1 LASSO 回归与岭回归的共同点 …………………………………… 137

10. 3. 2 LASSO 回归与岭回归的区别 ……………………………………… 137

本章小结 ……………………………………………………………………………… 137

第11 章 逻辑回归……………………………………………………………………… 138

11. 1 逻辑回归的原理 ……………………………………………………………… 139

11. 2 逻辑回归的应用 ……………………………………………………………… 143

11. 2. 1 逻辑回归算法的常用参数 ………………………………………… 143

11. 2. 2 应用案例：鸢尾花分类 …………………………………………… 144

11. 3 逻辑回归实现多分类的原理 ………………………………………………… 145

11. 3. 1 OVR/A（One Vs Rest/All） ………………………………………… 146

11. 3. 2 OVO（One Vs One） ………………………………………………… 147

11. 4 多分类逻辑回归的应用 ……………………………………………………… 148

11. 5 逻辑回归的特点 ……………………………………………………………… 150

本章小结 ……………………………………………………………………………… 150

第12 章 模型评估与优化……………………………………………………………… 152

12. 1 交叉验证 ……………………………………………………………………… 152

12. 1. 1 K 折交叉验证的原理 ………………………………………………… 154

12. 1. 2 交叉验证法的具体应用 ……………………………………………… 155

12. 1. 3 留一交叉验证法 ……………………………………………………… 157

12. 2 分类模型的可信度评估 ………………………………………………………… 158

12. 2. 1 混淆矩阵 ……………………………………………………………… 159

12. 2. 2 分类系统的评价指标 ………………………………………………… 160

12. 2. 3 应用案例：识别乳腺癌 ……………………………………………… 162

12. 3 回归模型的可信度评估 ……………………………………………………… 163

12. 3. 1 平均绝对误差 ………………………………………………………… 164

12. 3. 2 均方误差 ……………………………………………………………… 164

12. 3. 3 均方根误差 …………………………………………………………… 165

12. 3. 4 R2 ……………………………………………………………………… 166

12. 3. 5 应用案例：波士顿房价预测 ………………………………………… 166

12. 4 超参数调优 …………………………………………………………………… 168

VIII 走进人工智能——机器学习原理解析与应用

12. 4. 1 简单网格搜索来寻找超参数 ……………………………………… 168

12. 4. 2 与交叉验证结合的网格搜索 ……………………………………… 170

本章小结 ……………………………………………………………………………… 172

第四部分 聚 类

第13 章 物以类聚：K 均值聚类… …………………………………………………… 175

13. 1 K 均值算法的原理 …………………………………………………………… 175

13. 1. 1 K 均值算法的基本思想 …………………………………………… 176

13. 1. 2 算法基本过程 ……………………………………………………… 177

13. 2 K 均值算法的应用 …………………………………………………………… 178

13. 2. 1 KMeans 类的常用参数 ……………………………………………… 178

13. 2. 2 应用案例一：鸢尾花的聚类 ……………………………………… 179

13. 2. 3 应用案例二：甜西瓜的由来（一） ………………………………… 181

13. 3 K 均值算法的特点 …………………………………………………………… 184

本章小结 ……………………………………………………………………………… 184

第14 章 DBSCAN 聚类……………………………………………………………… 185

14. 1 DBSCAN 算法的原理 ………………………………………………………… 186

14. 1. 1 DBSCAN 算法的核心概念 ………………………………………… 186

14. 1. 2 DBSCAN 算法的基本过程 ………………………………………… 187

14. 2 DBSCAN 算法的应用 ………………………………………………………… 189

14. 2. 1 DBSCAN 类的常用参数 ……………………………………………… 189

14. 2. 2 应用案例一：小涛的问题 …………………………………………… 190

14. 2. 3 应用案例二：甜西瓜的由来（二） ………………………………… 191

14. 3 DBSCAN 算法的特点 ………………………………………………………… 193

本章小结 ……………………………………………………………………………… 193

第五部分 关 联 分 析

第15 章 Apriori 算法…………………………………………………………………… 196

15. 1 Apriori 算法的原理 …………………………………………………………… 196

15. 1. 1 关联分析中的相关概念 ……………………………………………… 196

目录IX

15. 1. 2 Apriori 算法的原理 …………………………………………………… 197

15. 2 Apriori 算法的应用 …………………………………………………………… 201

15. 2. 1 Apriori 类的常用参数 ………………………………………………… 201

15. 2. 2 应用案例一：货架调整 ……………………………………………… 201

15. 2. 3 应用案例二：餐厅菜品 ……………………………………………… 203

15. 3 Apriori 算法的特点 …………………………………………………………… 206

本章小结 ……………………………………………………………………………… 206

第六部分 数据预处理

第16 章 数据归一与标准化…………………………………………………………… 209

16. 1 数据归一化与标准化的必要性 ……………………………………………… 209

16. 2 数据归一化 …………………………………………………………………… 210

16. 2. 1 离差法过程 …………………………………………………………… 210

16. 2. 2 均值归一化过程 ……………………………………………………… 211

16. 2. 3 数据归一化的应用 …………………………………………………… 211

16. 3 数据标准化 …………………………………………………………………… 213

16. 3. 1 数据标准化过程 ……………………………………………………… 214

16. 3. 2 数据标准化的应用 …………………………………………………… 214

16. 4 数据预处理实例 ……………………………………………………………… 216

本章小结 …………………………………………………………………………… 219

第17 章 神奇的工具PCA……………………………………………………………… 220

17. 1 PCA 算法的基本原理 ………………………………………………………… 221

17. 1. 1 PCA 的简单理解 ……………………………………………………… 221

17. 1. 2 向量投影与内积 ……………………………………………………… 222

17. 1. 3 PCA——选择最优的基 ……………………………………………… 224

17. 1. 4 PCA 的基本过程 ……………………………………………………… 227

17. 2 PCA 算法的应用 ……………………………………………………………… 229

17. 2. 1 PCA 类的常用参数 …………………………………………………… 229

17. 2. 2 应用案例一：对鸢尾花进行PCA 降维 …………………………… 229

17. 3 PCA 算法的特点 ……………………………………………………………… 231

本章小结 ……………………………………………………………………………… 231

X 走进人工智能——机器学习原理解析与应用

第七部分 人工神经网络

第18 章 自主学习—— MLP 算法… …………………………………………………… 234

18. 1 人工神经网络的发展简史 …………………………………………………… 234

18. 2 单层感知机 …………………………………………………………………… 236

18. 3 多层感知机 …………………………………………………………………… 240

18. 3. 1 MLP 的基本原理 ……………………………………………………… 240

18. 3. 2 MLP 前向传播 ………………………………………………………… 242

18. 3. 3 MLP 后向传播 ………………………………………………………… 245

18. 3. 4 梯度下降 ……………………………………………………………… 248

18. 4 MLP 算法的应用 ……………………………………………………………… 253

18. 4. 1 MLPClassifier 类的常用参数 ………………………………………… 253

18. 4. 2 应用案例一：一起去游乐场 ………………………………………… 254

18. 4. 3 应用案例二：图片文字识别 ………………………………………… 256

18. 5 MLP 算法的特点 ……………………………………………………………… 259

本章小结 ……………………………………………………………………………… 259