目    录

第1章  机器学习概述 1

1.1  什么是机器学习 1

1.2  机器学习的作用领域 3

1.3  机器学习的分类 4

1.4  机器学习理论基础 6

1.5  机器学习应用开发的典型步骤 7

1.6  本章小结 8

1.7  复习题 8

第2章  机器学习之数据特征 9

2.1  数据的分布特征 9

2.1.1  数据分布集中趋势的测度 9

2.1.2  数据分布离散程度的测定 14

2.1.3  数据分布偏态与峰度的测定 17

2.2  数据的相关性 19

2.2.1  相关关系 19

2.2.2  相关分析 22

2.3  数据的聚类性 24

2.4  数据主成分分析 27

2.4.1  主成分分析的原理及模型 27

2.4.2  主成分分析的几何解释 29

2.4.3  主成分的导出 30

2.4.4  证明主成分的方差是依次递减的 31

2.4.5  主成分分析的计算 32

2.5  数据动态性及其分析模型 34

2.5.1  动态数据及其特点 34

2.5.2  动态数据分析模型分类 35

2.5.3  平稳时间序列建模 35

2.6  数据可视化 37

2.7  本章小结 39

2.8  复习题 39

第3章  用scikit-learn估计器分类 40

3.1  scikit-learn基础  40

3.1.1  sklearn包含的机器学习方式 40

3.1.2  sklearn的强大数据库 41

3.1.3  sklearn datasets构造数据 42

3.2  scikit-learn估计器 43

3.2.1  sklearn估计器的类别 43

3.2.2  sklearn分类器的比较 43

3.3  本章小结 47

3.4  复习题 48

第4章  朴素贝叶斯分类 49

4.1  算法原理 49

4.1.1  朴素贝叶斯算法原理 49

4.1.2  朴素贝叶斯分类法 50

4.1.3  拉普拉斯校准 52

4.2  朴素贝叶斯分类 52

4.2.1  高斯朴素贝叶斯 53

4.2.2  伯努利朴素贝叶斯 54

4.2.3  多项式朴素贝叶斯 55

4.3  朴素贝叶斯分类实例 57

4.4  朴素贝叶斯连续值的处理 60

4.5  本章小结 62

4.6  复习题 63

第5章  线性回归 64

5.1  简单线性回归模型 64

5.1.1  一元线性回归模型 64

5.1.2  损失函数 65

5.1.3  梯度下降算法 65

5.1.4  二元线性回归模型 67

5.1.5  多元线性回归模型 68

5.2  分割数据集  68

5.2.1  训练集和测试集 69

5.2.2  验证集 72

5.3  用简单线性回归模型预测考试成绩 73

5.3.1  创建数据集并提取特征和标签 73

5.3.2  模型训练 75

5.4  本章小结 78

5.5  复习题 78

第6章  用k近邻算法分类和回归 79

6.1  k近邻算法模型  79

6.1.1  k近邻算法的原理 79

6.1.2  距离的度量 81

6.1.3  算法的优缺点及算法的变种 81

6.2  用k近邻算法处理分类问题 82

6.3  用k近邻算法对鸢尾花进行分类 85

6.3.1  导入数据集 85

6.3.2  模型训练 86

6.4  用k近邻算法进行回归拟合 88

6.5  本章小结 90

6.6  复习题 91

第7章  从简单线性回归到多元线性回归 92

7.1  多变量的线性模型  92

7.1.1  简单线性回归模型 92

7.1.2  多元线性回归模型的预测函数 93

7.1.3  向量形式的预测函数 93

7.1.4  向量形式的损失函数 94

7.1.5  梯度下降算法 94

7.2  模型的优化  94

7.2.1  数据归一化 94

7.2.2  欠拟合和过拟合 96

7.2.3  正则化 99

7.2.4  线性回归与多项式 101

7.2.5  查准率和召回率 102

7.3  用多元线性回归模型预测波士顿房价 103

7.3.1  导入波士顿房价数据 104

7.3.2  模型训练 105

7.3.3  模型优化 106

7.3.4  学习曲线 108

7.4  本章小结 110

7.5  复习题 110

第8章  从线性回归到逻辑回归 111

8.1  逻辑回归模型  111

8.1.1  基本公式 112

8.1.2  逻辑回归算法的代价函数 113

8.1.3  逻辑回归算法的损失函数 114

8.1.4  梯度下降算法 114

8.2  多元分类问题 115

8.2.1  OVR 115

8.2.2  softmax函数 116

8.3  正则化项 118

8.3.1  线性回归的正则化 118

8.3.2  逻辑回归的正则化 119

8.4  模型优化 119

8.4.1  判定边界 119

8.4.2  L1和L2的区别 120

8.5  用逻辑回归算法处理二分类问题 121

8.5.1  导入数据集 122

8.5.2  模型训练 123

8.5.3  学习曲线 125

8.6  识别手写数字的多元分类问题 128

8.6.1  导入数据集 128

8.6.2  模型训练 129

8.6.3  模型优化 131

8.7  本章小结 132

8.8  复习题 132

第9章  非线性分类和决策树回归 133

9.1  决策树的特点 133

9.2  决策树分类 135

9.3  决策树回归 137

9.4  决策树的复杂度及使用技巧 139

9.5  决策树算法：ID3、C4.5和CART 140

9.5.1  ID3算法 140

9.5.2  C4.5算法 141

9.5.3  CART算法 142

9.6  本章小结 143

9.7  复习题 143

第10章  集成方法：从决策树到随机森林 144

10.1  Bagging元估计器 144

10.2  由随机树组成的森林 145

10.2.1  随机森林 145

10.2.2  极限随机树 146

10.2.3  参数 146

10.2.4  并行化 147

10.2.5  特征重要性评估 147

10.3  AdaBoost 149

10.3.1  AdaBoost算法 149

10.3.2  AdaBoost使用方法 150

10.4  梯度提升回归树 150

10.4.1  分类 151

10.4.2  回归 151

10.4.3  训练额外的弱学习器 153

10.4.4  控制树的大小 154

10.4.5  数学公式 154

10.4.6  正则化 155

10.4.7  投票分类器 157

10.4.8  投票回归器 159

10.5  本章小结 161

10.6  复习题 161

第11章  从感知机到支持向量机  162

11.1  线性支持向量机分类 162

11.1.1  线性支持向量机分类示例 163

11.1.2  软间隔分类 165

11.2  非线性支持向量机分类 168

11.2.1  多项式内核 169

11.2.2  相似特征 171

11.2.3  高斯RBF内核 173

11.2.4  计算复杂度 175

11.3  支持向量机回归 175

11.4  本章小结 178

11.5  复习题 178

第12章  从感知机到人工神经网络 179

12.1  从神经元到人工神经元  179

12.1.1  生物神经元 180

12.1.2  神经元的逻辑计算 181

12.2  感知机  182

12.3  多层感知机 186

12.3.1  反向传播算法 187

12.3.2  激活函数 188

12.3.3  分类MLP 189

12.3.4  回归MLP 190

12.3.5  实用技巧 191

12.4  本章小结 192

12.5  复习题 192

第13章  主成分分析降维 193

13.1  数据的向量表示及降维问题 193

13.2  向量的表示及基变换 194

13.2.1  内积与投影 194

13.2.2  基 195

13.2.3  基变换的矩阵表示 196

13.3  协方差矩阵及优化目标 197

13.3.1  方差 198

13.3.2  协方差 199

13.3.3  协方差矩阵 199

13.3.4  协方差矩阵对角化 200

13.4  PCA算法流程 201

13.5  PCA实例 202

13.6  scikit-learn PCA降维实例 203

13.7  核主成分分析KPCA简介 208

13.8  本章小结 209

13.9  复习题 209

参考文献 210