第 1 章 机器学习 ............................................................................................................ 1
1.1 机器学习的分类 ........................................................................................................... 1
1.1.1 用监督学习预测未来 ........................................................................................ 2
1.1.2 用无监督学习发现隐藏结构 ............................................................................. 3
1.1.3 用强化学习解决交互问题 ................................................................................. 4
1.1.4 分类和回归术语 ................................................................................................ 4
1.2 选择正确的算法 ........................................................................................................... 5
1.3 常用的机器学习算法 .................................................................................................... 7
1.4 机器学习的应用领域 .................................................................................................... 8
第 2 章 MATLAB 软件 .............................................................................................................10
2.1 MATLAB 数据类型 .................................................................................................... 10
2.1.1 矩阵 ................................................................................................................ 10
2.1.2 元胞数组 ......................................................................................................... 11
2.1.3 结构体 ............................................................................................................ 12
2.1.4 数据存储 ......................................................................................................... 14
2.1.5 tall 数组 .......................................................................................................... 17
2.1.6 稀疏矩阵 ......................................................................................................... 19
2.1.7 表与分类数组 ................................................................................................. 22
2.1.8 大型 MAT 文件 ............................................................................................... 25
2.2 MATLAB 作图 ........................................................................................................... 27
2.2.1 二维线图 ......................................................................................................... 27
2.2.2 通用二维图形 ................................................................................................. 31
2.2.3 三维点或线图 ................................................................................................. 32
2.2.4 通用三维图形 ................................................................................................. 34
第 3 章 数学基础知识 ..............................................................................................................36
3.1 矩阵的微分 ................................................................................................................ 36
3.1.1 标量与矩阵求导通用的法则 ........................................................................... 36
3.1.2 矩阵和向量求导的通用法则 ........................................................................... 38
3.1.3 MATLAB 的实现 ............................................................................................ 39
3.2 向量和矩阵积分 ......................................................................................................... 41
3.2.1 向量梯度 ......................................................................................................... 41
3.2.2 微分公式 ......................................................................................................... 41
文前.indd 3 2025/4/23 15:19:26 IV MATLAB 机器学习
3.2.3 优化方法 ......................................................................................................... 42
3.2.4 拉格朗日乘子法 .............................................................................................. 42
3.2.5 向量矩阵积分实现 .......................................................................................... 42
3.3 特征值分解和奇异值分解 .......................................................................................... 43
3.3.1 特征值分解 ..................................................................................................... 43
3.3.2 奇异值分解 .................................................................................................... 45
3.4 最优化方法 ................................................................................................................ 47
3.4.1 无约束优化方法 .............................................................................................. 47
3.4.2 约束优化与 KKT 条件 .................................................................................... 53
3.4.3 二次规划 ......................................................................................................... 57
第 4 章 线性回归分析 ..............................................................................................................60
4.1 线性回归模型 ............................................................................................................. 60
4.1.1 线性模型 ......................................................................................................... 60
4.1.2 损失函数 ......................................................................................................... 60
4.1.3 随机梯度下降法 .............................................................................................. 61
4.1.4 线性回归简单实现 .......................................................................................... 61
4.2 多元线性回归 ............................................................................................................. 63
4.3 广义线性模型 ............................................................................................................. 68
4.3.1 广义线性模型介绍 .......................................................................................... 69
4.3.2 广义线性模型实现 .......................................................................................... 69
4.4 多重共线性 ................................................................................................................ 75
4.4.1 什么是多重共线性 .......................................................................................... 75
4.4.2 多重共性后果 ................................................................................................. 76
4.4.3 多重共线性检验 .............................................................................................. 79
4.4.4 多重共线性回归实现 ...................................................................................... 79
4.5 其他线性回归 ............................................................................................................. 80
4.5.1 岭回归 ............................................................................................................ 81
4.5.2 Lasso 回归 ...................................................................................................... 82
4.5.3 弹性网络 ......................................................................................................... 83
4.5.4 逐步回归 ......................................................................................................... 85
第 5 章 逻辑回归分析 ..............................................................................................................91
5.1 逻辑回归概述 ............................................................................................................. 91
5.2 模型表达式 ................................................................................................................ 92
5.3 损失函数 .................................................................................................................... 93
5.3.1 单个样本评估正确的概率 ............................................................................... 93
5.3.2 所有样本评估正确的概率 ............................................................................... 93
5.3.3 损失函数 ......................................................................................................... 93
5.4 模型求解 .................................................................................................................... 94
5.5 逻辑回归的应用 ......................................................................................................... 95
文前.indd 4 2025/4/23 15:19:27 目录 V
第 6 章 K- 均值聚类算法分析 ...............................................................................................102
6.1 K- 均值聚类算法概述 ............................................................................................... 102
6.1.1 K- 均值聚类算法的思想................................................................................ 102
6.1.2 K- 均值聚类算法的三要素 ............................................................................ 103
6.1.3 K- 均值聚类算法的步骤................................................................................ 103
6.1.4 K- 均值聚类算法的优缺点 ............................................................................ 104
6.1.5 K- 均值聚类算法调优 ................................................................................... 105
6.2 K- 均值聚类算法实现 ............................................................................................... 107
6.2.1 K- 均值聚类算法函数 ................................................................................... 107
6.2.2 K- 均值聚类基于颜色的分割 .........................................................................111
6.3 K- 均值聚类改进算法 ............................................................................................... 114
6.3.1 K-means++ 算法 ........................................................................................... 114
6.3.2 ISODATA 算法 ............................................................................................. 117
第 7 章 决策树分析 ...............................................................................................................125
7.1 决策树的简介 ........................................................................................................... 125
7.2 决策树的原理 ........................................................................................................... 125
7.2.1 信息熵 .......................................................................................................... 127
7.2.2 信息增益 ....................................................................................................... 127
7.2.3 信息增益率 ................................................................................................... 127
7.2.4 基尼系数 ....................................................................................................... 128
7.3 3 种算法的对比 ........................................................................................................ 129
7.4 剪树处理 .................................................................................................................. 129
7.4.1 预剪枝 .......................................................................................................... 129
7.4.2 后剪枝 .......................................................................................................... 129
7.5 决策树的特点 ........................................................................................................... 130
7.6 分类树的函数 ........................................................................................................... 130
7.6.1 创建分类树 ................................................................................................... 130
7.6.2 改进分类树 ................................................................................................... 133
7.6.3 解释分类树 ................................................................................................... 134
7.6.4 交叉验证分类树 ............................................................................................ 136
7.6.5 测量性能 ....................................................................................................... 138
7.7 决策树的应用 ........................................................................................................... 141
第 8 章 主成分分析 ...............................................................................................................148
8.1 降维方法 .................................................................................................................. 148
8.2 进行 PCA 的原因 ..................................................................................................... 149
8.3 PCA 数学原理 .......................................................................................................... 149
8.3.1 内积与投影 ................................................................................................... 149
8.3.2 基 .................................................................................................................. 150
8.3.3 基变换的矩阵表示 ........................................................................................ 151
文前.indd 5 2025/4/23 15:19:27 VI MATLAB 机器学习
8.4 PCA 涉及的主要问题 ............................................................................................... 152
8.5 PCA 的优化目标 ...................................................................................................... 153
8.6 PCA 的求解步骤 ...................................................................................................... 154
8.7 PCA 的优缺点与应用场景 ....................................................................................... 154
8.7.1 PCA 方法的优点 ........................................................................................... 155
8.7.2 PCA 方法的缺点 ........................................................................................... 155
8.7.3 PCA 的应用场景 ........................................................................................... 155
8.8 PCA 相关函数 .......................................................................................................... 156
8.9 偏最小二乘回归和主成分回归 ................................................................................. 160
第 9 章 支持向量机分析 ........................................................................................................167
9.1 线性分类 .................................................................................................................. 167
9.1.1 逻辑回归 ....................................................................................................... 167
9.1.2 逻辑回归表述 SVM ...................................................................................... 168
9.1.3 线性分类简单实例 ........................................................................................ 168
9.2 硬间隔 ...................................................................................................................... 169
9.2.1 求解间隔 ....................................................................................................... 170
9.2.2 拉格朗日乘数法 ............................................................................................ 171
9.2.3 对偶问题 ....................................................................................................... 172
9.2.4 软间隔 .......................................................................................................... 173
9.2.5 核（Kernel）函数 ......................................................................................... 175
9.2.6 模型评估和超参数调优................................................................................. 176
9.3 支持向量机的相关函数 ............................................................................................ 178
9.3.1 支持向量机回归函数 .................................................................................... 178
9.3.2 支持向量机分类函数 .................................................................................... 185
9.4 用于二类分类的支持向量机 ..................................................................................... 192
9.4.1 用高斯核训练 SVM 分类器 .......................................................................... 192
9.4.2 使用自定义核函数训练 SVM 分类器 ............................................................ 195
9.4.3 绘制 SVM 分类模型的后验概率区域 ............................................................ 198
9.4.4 使用线性支持向量机分析图像 ..................................................................... 200
第 10 章 朴素贝叶斯算法分析 ..............................................................................................203
10.1 贝叶斯公式 ............................................................................................................ 203
10.2 朴素贝叶斯算法的原理 .......................................................................................... 204
10.3 朴素贝叶斯常用模型 .............................................................................................. 205
10.3.1 伯努利朴素贝叶斯模型 ............................................................................... 205
10.3.2 多项式朴素贝叶斯 ...................................................................................... 207
10.3.3 高斯朴素贝叶斯 .......................................................................................... 208
10.4 拉普拉斯平滑 ......................................................................................................... 209
10.5 朴素贝叶斯算法的优缺点 ...................................................................................... 210
10.6 朴素贝叶斯算法的创建函数 ................................................................................... 210
文前.indd 6 2025/4/23 15:19:27 目录 VII
10.7 朴素贝叶斯算法的实现 .......................................................................................... 212
10.7.1 逻辑回归模型的贝叶斯分析 ....................................................................... 212
10.7.2 判别分析、朴素贝叶斯分类器和决策树进行分类 ...................................... 219
第 11 章 随机森林算法分析 ..................................................................................................227
11.1 集成学习 ................................................................................................................ 227
11.2 集成学习的常见算法 .............................................................................................. 228
11.2.1 Bagging 算法 .............................................................................................. 228
11.2.2 Boosting 算法 .............................................................................................. 228
11.2.3 Stacking 算法 .............................................................................................. 229
11.3 随机森林算法 ......................................................................................................... 230
11.3.1 随机森林算法简介 ...................................................................................... 231
11.3.2 随机森林算法原理 ...................................................................................... 231
11.3.3 随机森林算法优缺点 .................................................................................. 232
11.3.4 随机森林算法功能 ...................................................................................... 233
11.3.5 随机森林算法实现函数 ............................................................................... 233
11.3.6 随机森林算法的应用 .................................................................................. 244
第 12 章 神经网络分析 .........................................................................................................249
12.1 神经网络的概述 ..................................................................................................... 249
12.1.1 前馈神经网络 ............................................................................................. 249
12.1.2 前馈神经网络的应用 .................................................................................. 253
12.2 卷积神经网络 ......................................................................................................... 258
12.2.1 用卷积代替全连接 ...................................................................................... 258
12.2.2 卷积层 ........................................................................................................ 259
12.2.3 汇聚层 ........................................................................................................ 259
12.2.4 全连接层 ..................................................................................................... 260
12.2.5 典型的卷积神经网络结构 ........................................................................... 260
12.2.6 几种典型的卷积神经网络 ........................................................................... 260
12.2.7 卷积神经网络实现 ...................................................................................... 263
12.3 循环神经网络 ......................................................................................................... 267
12.3.1 循环神经网络概述 ...................................................................................... 267
12.3.2 循环神经网络的实现 .................................................................................. 272
文前.indd 7 2025/4/23 15:19:27文前.indd 8 2025/4/23 15:19:27
