目录

第1章课程绪论1

1.1基本概念1

1.1.1相关概念2

1.1.2研究意义4

1.2发展历史5

1.2.1学科发展历史5

1.2.2学术大事件7

1.2.3未来发展趋势9

1.3应用举例9

1.3.1人脸识别10

1.3.2指纹识别11

1.3.3量化金融13

1.3.4社交网络14

1.3.5目标检测15

1.3.6其他应用17

参考文献19

第2章线性模型21

2.1背景知识21

2.2线性回归23

2.2.1简单线性回归23

2.2.2多元线性回归24

2.2.3广义线性回归25

2.3应用举例25

2.3.1理论推导25

2.3.2二分类问题26

2.3.3多分类问题29

2.3.4不平衡样本30

课后习题32

参考文献32第3章支持向量机34

3.1背景知识34

3.1.1问题引入35

3.1.2间隔与支持向量36

3.2支持向量机37

3.2.1理论推导37

3.2.2对偶问题40

3.3方法扩展44

3.3.1核函数44

3.3.2软间隔与正则化51

课后习题54

参考文献55

第4章决策树57

4.1决策树模型57

4.1.1问题背景58

4.1.2模型定义59

4.2决策树模型61

4.2.1划分选择61

4.2.2剪枝策略66

4.2.3应用举例73

课后习题77

参考文献79

第5章贝叶斯分类80

5.1背景知识80

5.2贝叶斯决策82

5.2.1贝叶斯决策理论82

5.2.2正态分布下的贝叶斯决策87

5.3概率密度函数估计95

5.3.1最大似然估计95

5.3.2贝叶斯估计97

5.3.3非参数估计99

课后习题103

参考文献104

第6章神经网络106

6.1神经网络基础106

6.1.1问题引入107

6.1.2神经网络的概念定义108

6.1.3MP神经元模型109

6.2多层感知机112

6.2.1问题引入112

6.2.2多层前馈网络115

6.2.3反向传播算法118

6.3深度神经网络124

6.3.1基本概念124

6.3.2典型方法127

6.3.3应用举例137

课后习题143

参考文献145

第7章集成学习146

7.1背景知识146

7.1.1问题引入147

7.1.2个体与集成147

7.2学习策略148

7.2.1Boosting149

7.2.2Bagging151

7.2.3Stacking154

课后习题158

参考文献159

第8章数据聚类161

8.1背景知识161

8.1.1问题引入162

8.1.2聚类的数学定义162

8.2聚类算法164

8.2.1均值聚类算法164

8.2.2高斯混合模型聚类算法167

8.2.3层次化聚类算法170

8.3应用举例173

8.3.1非监督图像分割173

8.3.2基因表达数据分析175

8.3.3客户分群分析176

课后习题177

参考文献177

第9章数据降维180

9.1问题引入180

9.1.1问题背景181

9.1.2数据降维作用182

9.2线性降维184

9.2.1主成分分析184

9.2.2线性判别分析188

9.3非线性降维191

9.3.1核方法191

9.3.2流形学习193

课后习题195

参考文献196

第10章特征选择198

10.1问题引入198

10.1.1维度灾难199

10.1.2特征选择200

10.2子集搜索201

10.2.1前向搜索202

10.2.2后向搜索202

10.2.3双向搜索202

10.3子集评价203

10.3.1基于信息熵的判据203

10.3.2基于类内类间距离的判据204

10.3.3基于随机变量关联性的判据205

10.3.4概率分布可分性206

10.4常用算法208

10.4.1过滤式特征选择208

10.4.2包裹式特征选择209

10.4.3嵌入式特征选择210

课后习题212

参考文献212

第11章度量学习214

11.1基本概念214

11.2传统度量学习219

11.2.1强监督度量学习——大间隔最近邻度量学习219

11.2.2弱监督度量学习——基于信息论的度量学习222

11.3深度度量学习225

11.3.1方法概述225

11.3.2三元组损失227

11.3.3非均衡采样228

课后习题230

参考文献230

第12章应用举例232

12.1人脸识别系统232

12.1.1人脸识别任务概述232

12.1.2人脸识别发展历史233

12.1.3人脸识别发展应用235

12.1.4模式识别系统回顾236

12.1.5人脸识别系统组成237

12.2面向人脸识别系统的分类器设计237

12.2.1基于线性模型的人脸识别237

12.2.2基于支持向量机的人脸识别239

12.2.3决策树241

12.2.4贝叶斯分类器242

12.2.5神经网络243

12.2.6基于集成学习的人脸识别245

12.3面向人脸识别系统的模式分析248

12.3.1数据聚类249

12.3.2数据降维250

12.3.3特征选择251

12.3.4度量学习252

参考文献254