目录

第1章引言1

1.1基本概念1

1.1.1投票选举2

1.1.2三个小皮匠胜过诸葛亮3

1.1.3主动学习4

1.2典型的机器学习系统5

1.2.1医学图像诊断5

1.2.2时间序列识别6

1.2.3对话系统7

1.2.4异常检测8

1.3前沿研究方向举例9

1.3.1多视图机器学习9

1.3.2强化学习11

1.3.3可信人工智能11

1.4后续章节安排13

参考文献13

第2章贝叶斯学习基础15

2.1贝叶斯公式16

2.2贝叶斯决策18

2.2.1最小错误率贝叶斯决策18

2.2.2最小风险贝叶斯决策21

2.3分类器的相关概念23

2.3.1分类器、判别函数和决策面24

2.3.2分类器的错误率25

2.4基于高斯分布的贝叶斯分类器26

2.5朴素贝叶斯分类器32

2.6参数估计33

2.6.1最大似然估计33

2.6.2最大后验估计35

2.6.3期望最大化算法36

2.6.4贝叶斯参数估计37

思考与计算38

参考文献39

第3章逻辑回归40

3.1线性回归41

3.1.1最小二乘与最大似然44

3.1.2正则化最小二乘与最大后验47

3.2贝叶斯线性回归50

3.3逻辑回归52

3.3.1二类逻辑回归52

3.3.2多类逻辑回归55

3.4贝叶斯逻辑回归56

思考与计算60

参考文献60

第4章概率图模型基础61

4.1有向图模型63

4.1.1模型表示63

4.1.2条件独立性65

4.1.3常见的有向图模型71

4.2无向图模型73

4.2.1模型表示73

4.2.2条件独立性74

4.2.3常见的无向图模型81

4.3图模型中的推理82

4.3.1链式结构82

4.3.2树结构84

4.3.3因子图84

4.3.4和积算法85

4.3.5最大和算法92

思考与计算94

参考文献95

第5章隐马尔可夫模型96

5.1模型表示97

5.2模型推理100

5.2.1边缘似然的推理101

5.2.2隐状态序列的推理107

5.2.3隐状态边缘后验的推理108

5.3参数学习109

5.4模型扩展111

思考与计算115

参考文献116

第6章条件随机场117

6.1模型表示118

6.1.1线性链条件随机场120

6.1.2一般的条件随机场121

6.1.3条件随机场的特征函数122

6.2模型推理124

6.2.1前向—后向算法125

6.2.2维特比算法129

6.3参数学习130

6.4线性链条件随机场与隐马尔可夫模型132

6.5模型扩展133

思考与计算133

参考文献134

第7章支持向量机135

7.1大间隔原理136

7.2基本分类模型137

7.3拉格朗日对偶优化138

7.4线性不可分数据的分类140

7.4.1松弛变量140

7.4.2核方法142

7.5支持向量机回归144

7.6模型扩展146

思考与计算146

参考文献147

第8章人工神经网络与深度学习148

8.1感知机149

8.2多层神经网络151

8.2.1神经元151

8.2.2多层神经网络模型153

8.2.3反向传播算法155

8.3深度神经网络159

8.3.1浅层与深度神经网络159

8.3.2过拟合问题160

8.3.3局部极值问题162

8.3.4梯度消失问题163

8.4常用的深度神经网络166

8.4.1自编码网络166

8.4.2深度玻尔兹曼机168

8.4.3深度信念网络169

8.4.4卷积神经网络170

8.4.5循环神经网络174

8.4.6Transformer177

思考与计算180

参考文献181

第9章高斯过程183

9.1高斯过程的定义184

9.2高斯过程回归模型185

9.2.1权重空间185

9.2.2函数空间189

9.3高斯过程分类模型192

9.3.1模型表示193

9.3.2近似推理方法195

9.4高斯过程与支持向量机199

9.5高斯过程与人工神经网络200

9.6模型扩展201

思考与计算203

参考文献203

第10章聚类205

10.1K均值聚类206

10.1.1算法介绍206

10.1.2模糊K均值聚类209

10.2谱聚类210

10.3高斯混合模型聚类217

10.3.1模型表示217

10.3.2模型推理与参数估计218

10.3.3无限高斯混合模型219

思考与计算222

参考文献223

第11章主成分分析与相关的谱方法224

11.1主成分分析225

11.1.1最大化方差225

11.1.2最小化误差227

11.1.3主成分分析与KL变换229

11.2概率PCA230

11.3核PCA232

11.4相关的谱方法234

11.4.1线性判别分析234

11.4.2典型相关分析237

思考与计算242

参考文献243

第12章确定性近似推理244

12.1近似推理的应用场景245

12.2拉普拉斯近似245

12.3变分平均场近似247

12.3.1基本理论247

12.3.2相关问题250

12.4期望传播近似253

12.4.1基本理论253

12.4.2相关问题256

思考与计算259

参考文献259

第13章随机近似推理260

13.1采样方法的评价标准261

13.2基本的采样方法262

13.2.1均匀采样变换263

13.2.2拒绝采样264

13.2.3重要性采样265

13.3马尔可夫链蒙特卡洛267

13.3.1MetropolisHastings采样267

13.3.2Gibbs采样269

13.3.3切片采样271

13.3.4哈密尔顿蒙特卡洛采样274

思考与计算277

参考文献278

第14章强化学习280

14.1基本概念与理论基础281

14.2规划: 有环境模型的预测与控制286

14.2.1策略迭代287

14.2.2值迭代288

14.3无环境模型的控制: 基于值函数290

14.3.1蒙特卡洛控制291

14.3.2时序差分控制: SARSA292

14.3.3基于Q学习的异策略控制293

14.3.4基于Q学习的深度Q网络控制295

14.4无环境模型的控制: 基于策略296

14.4.1蒙特卡洛策略梯度法和REINFORCE算法297

14.4.2行动者—评论者算法299

思考与计算300

参考文献301

附录A近邻法302

A.1最近邻法302

A.2最近邻法的错误率分析302

A.3k近邻法305

参考文献306

附录B决策树307

B.1基本原理307

B.2信息增益和信息增益比309

B.3代表性算法311

参考文献313

附录C向量微积分314

C.1向量微分314

C.1.1常用定义314

C.1.2求导规则316

C.2向量积分319

参考文献322

附录D随机变量的变换323

D.1概率密度中的变量变换323

D.2期望中的变量变换326

参考文献327