目录

第1章机器学习的发展史1

引言1

1.1机器学习1

1.1.1机器学习的定义和研究意义1

1.1.2机器学习的发展史3

1.1.3机器学习系统的基本结构4

1.1.4机器学习的分类5

1.1.5目前研究领域9

1.2统计模式识别问题9

1.2.1机器学习问题的表示10

1.2.2经验风险最小化11

1.2.3复杂性与推广能力12

1.3统计机器学习理论的核心内容13

1.3.1学习过程一致性的条件13

1.3.2推广性的界13

1.3.3结构风险最小化15

1.4解耦因果学习16

1.4.1因果学习17

1.4.2相关工作18

1.4.3解耦因果学习方法与应用18

1.5总结21

课后习题21

第2章决策树学习22

引言22

2.1决策树学习概述22

2.1.1决策树23

2.1.2性质24

2.1.3应用24

2.1.4学习24

2.2决策树设计25

2.2.1决策树的特点25

2.2.2决策树的生成25

2.3总结30

课后习题30

第3章PAC模型31

引言31

3.1基本的PAC模型31

3.1.1PAC简介31

3.1.2基本概念31

3.1.3问题框架32

3.2PAC模型样本复杂度分析33

3.2.1有限空间样本复杂度33

3.2.2无限空间样本复杂度34

3.3VC维计算35

3.4总结36

课后习题36

第4章贝叶斯学习37

引言37

4.1贝叶斯学习37

4.1.1贝叶斯公式37

4.1.2最小误差决策38

4.1.3正态密度38

4.1.4最大似然估计39

4.2朴素贝叶斯原理及应用40

4.2.1贝叶斯最佳假设原理40

4.2.2基于朴素贝叶斯的文本分类器40

4.3HMM（隐马尔可夫模型）及应用43

4.3.1马尔可夫性43

4.3.2马尔可夫链44

4.3.3转移概率矩阵44

4.3.4HMM（隐马尔可夫模型）及应用44

4.4总结48

课后习题49

第5章支持向量机50

引言50

5.1支持向量机概述50

5.1.1margin最大化50

5.1.2支持向量机优化51

5.2支持向量机的实例55

5.3支持向量机的实现算法55

5.4多类支持向量机57

5.5总结58

课后习题58

第6章AdaBoost59

引言59

6.1AdaBoost与目标检测59

6.1.1AdaBoost算法59

6.1.2AdaBoost训练61

6.1.3AdaBoost实例62

6.2具有强鲁棒性的实时目标检测63

6.2.1Haarlike矩形特征选取63

6.2.2积分图63

6.2.3训练结果64

6.2.4级联64

6.3随机森林65

6.3.1原理阐述66

6.3.2算法详解66

6.3.3算法分析67

6.4总结67

课后习题68

第7章压缩感知69

引言69

7.1压缩感知理论框架69

7.2压缩感知的基本理论及核心问题70

7.2.1压缩感知的数学模型70

7.2.2信号的稀疏表示70

7.2.3信号的观测矩阵71

7.2.4信号的重构算法72

7.3压缩感知的应用72

7.3.1应用72

7.3.2人脸识别73

7.4总结74

课后习题75

第8章子空间76

引言76

8.1基于主成分分析的特征提取76

8.2数学模型78

8.3主成分的数学上的计算78

8.3.1两个线性代数的结论78

8.3.2基于协方差矩阵的特征值分解79

8.3.3主成分分析的步骤80

8.4主成分分析的性质80

8.5基于主成分分析的人脸识别方法81

8.6总结82

课后习题82

第9章神经网络与深度学习83

引言83

9.1神经网络及其主要算法83

9.1.1前馈神经网络83

9.1.2感知器83

9.1.3反向传播算法85

9.2深度学习87

9.2.1深度学习算法基础与网络模型87

9.2.2深度学习算法原理88

9.2.3卷积神经网络算法原理91

9.3深度学习网络模型94

9.3.1深度学习网络架构94

9.3.2网络模型优化95

9.3.3代表性的网络模型97

9.4总结102

课后习题102

第10章调制压缩神经网络103

引言103

10.1神经网络模型压缩概述103

10.1.1量化与二值化104

10.1.2剪枝与共享104

10.2调制压缩神经网络106

10.3损失函数107

10.4前向卷积108

10.4.1重构卷积核108

10.4.2调制网络的前向卷积过程109

10.5调制卷积神经网络模型的梯度反传110

10.6MCN网络的实验验证112

10.6.1模型收敛效率114

10.6.2模型时间分析114

10.6.3实验结果114

课后习题115

第11章批量白化技术116

引言116

11.1批量标准化技术116

11.2批量白化方法117

11.2.1随机坐标交换问题117

11.2.2ZCA白化119

11.3批量白化模块121

11.4分析和讨论123

11.4.1提高模型的条件情况123

11.4.2近似的动态等距性124

11.5总结124

课后习题125

第12章正交权重矩阵126

引言126

12.1多个依赖的Stiefel流优化126

12.2正交权重矩阵的特性127

12.2.1稳定激活值的分布127

12.2.2规整化神经网络127

12.3正交权重标准化技术128

12.3.1设计正交变换128

12.3.2反向传播129

12.3.3正交线性模块130

12.4实验与分析131

12.4.1求解多个依赖的Stiefel流优化问题方法比较131

12.4.2多层感知机实验133

12.4.3ImageNet 2012大规模图像数据分类实验134

12.5总结135

课后习题135

第13章强化学习136

引言136

13.1AlphaGo技术136

13.2强化学习概述139

13.3强化学习过程140

13.3.1马尔可夫性140

13.3.2奖励141

13.3.3估价函数141

13.3.4动态规划141

13.3.5蒙特卡罗方法142

13.3.6时序差分学习143

13.4Q学习算法144

13.4.1Q学习算法介绍144

13.4.2奖励145

13.4.3Q学习算法的改进147

13.5程序实现148

课后习题151

参考文献152