简明目录

第1 章概述1

第2 章监督学习综述7

第3 章回归的线性方法7

第4 章分类的线性方法77

第5 章基展开与正则化方法105

第6 章核平滑方法143

第7 章模型的评估和选择165

第8 章模型的推断和平均197

第9 章加性模型、树和相关方法223

第10 章Boosting 和加性树255

第11 章神经网络293

第12 章支持向量机与柔性判别分析315

第13 章原型方法与最近邻347

第14 章非监督学习365

第15 章随机森林441

第16 章集成学习455

第17 章无向图模型471

第18 章高维问题：p≫N 489

第1 章概述     1

1.1 示例1：垃圾邮件    1

1.2 示例2：前列腺癌    2

1.3 示例3：手写数字识别  2

1.4 示例4：DNA 表达微阵列  4

1.5 本书的读者群体      5

1.6 本书的组织      6

1.7 本书网站      6

1.8 给教师的建议    6

第2 章监督学习综述    7

2.1 概述     7

2.2 变量类型和术语      7

2.3 两个简单的预测方法：最小二乘和最近邻    8

2.3.1 线性模型和最小二乘  8

2.3.2 最近邻方法    11

2.3.3 从最小二乘到最近邻  12

2.4 统计决策理论      14

2.5 高维中的局部方法    17

2.6 统计模型、监督学习和函数逼近     21

2.6.1 联合分布Pr(𝑋,𝑌) 的统计模型   21

2.6.2 监督学习    22

2.6.3 函数逼近    22

2.7 结构化的回归模型    24

2.8 受限估计子的种类    26

2.8.1 粗糙度惩罚和贝叶斯方法     26

2.8.2 核方法和局部回归  26

2.8.3 基函数和词典方法  27

2.9 模型选择和偏差-方差折衷     28

文献说明     30

习题       30

第3 章回归的线性方法    33

3.1 概述   33

3.2 线性回归模型和最小二乘     33

3.2.1 示例：前列腺癌    38

3.2.2 高斯-马尔可夫定理  39

3.2.3 源自简单一元回归的多元回归   40

3.2.4 多元输出    43

3.3 子集选择      44

3.3.1 最佳子集选择    44

3.3.2 分步前向和分步反向选择     45

3.3.3 分阶段前向回归    46

3.3.4 示例：前列腺癌（续）      46

3.4 收缩方法      47

3.4.1 岭回归    48

3.4.2 Lasso 回归      52

3.4.3 讨论：子集选择、岭回归和Lasso 回归 . 54

3.4.4 最小角度回归    56

3.5 采用导出的输入方向的方法     60

3.5.1 主成分回归    60

3.5.2 偏最小二乘    61

3.6 讨论：选择和收缩方法的比较   62

3.7 多元输出的收缩和选择  63

3.8 关于Lasso 和相关路径算法的更多讨论 65

3.8.1 增量式分阶段前向回归     65

3.8.2 分段线性路径算法  67

3.8.3 Dantzig 选择算子  67

3.8.4 成组Lasso       68

3.8.5 Lasso 的进一步特性  69

3.8.6 逐路径坐标优化    70

3.9 计算考虑      71

文献说明     71

习题       71

第4 章分类的线性方法    77

4.1 概述   77

4.2 指示矩阵的线性回归  78

4.3 线性判别分析      82

4.3.1 正则判别分析    85

4.3.2 LDA 的计算    86

4.3.3 降秩线性判别分析  86

4.4 Logistic 回归    90

4.4.1 拟合Logistics 回归模型     90

4.4.2 示例：南非人的心脏病     92

4.4.3 二次逼近和推断    94

4.4.4 𝐿1 正则化Logistic 回归     95

4.4.5 Logistic 回归或LDA?   96

4.5 分离超平面    97

4.5.1 罗森布拉特的感知机学习算法   99

4.5.2 最优分离超平面  100

文献说明   102

习题     102

第5 章基展开与正则化方法  105

5.1 概述   105

5.2 分段多项式与样条  106

5.2.1 自然三次样条    109

5.2.2 示例：南非心脏病（续）      109

5.2.3 示例：音素识别  111

5.3 滤波与特征抽取    113

5.4 平滑样条      113

5.5 平滑参数的自动选取  118

5.5.1 固定自由度    118

5.5.2 偏差—方差折衷  119

5.6 非参Logistic 回归  121

5.7 多维样条      122

5.8 正则化与再生核希尔伯特空间   126

5.8.1 核生成的函数空间  126

5.8.2 RKHS 的例子    126

5.9 小波平滑      131

5.9.1 小波基与小波变换  133

5.9.2 自适应小波滤波  135

文献说明   137

习题     137

附加内容：样条的计算    140

𝐵 样条   140

平滑样条的计算      142

第6 章核平滑方法    143

6.1 一维核平滑方法    143

6.1.1 局部线性回归    145

6.1.2 局部多项式回归  147

6.2 选择核宽度    149

6.3 R𝑝 上的局部回归    150

6.4 R𝑝 上特征结构化局部回归     152

6.4.1 结构化的核函数  152

6.4.2 结构化的回归函数  152

6.5 局部似然与其他模型  153

6.6 核密度估计与分类  156

6.6.1 核密度估计    156

6.6.2 核密度分类    157

6.6.3 朴素贝叶斯分类器  158

6.7 径向基函数与核    159

6.8 密度估计与分类的混合模型   161

6.9 计算细节      162

文献说明   163

习题     163

第7 章模型的评估和选择    165

7.1 概述   165

7.2 偏差、方差与模型复杂性     165

7.3 偏差-方差分解    168

7.4 训练错误率的乐观估计  171

7.5 样本内预测错误的估计  173

7.6 参数的有效个数    175

7.7 贝叶斯方法和BIC   175

7.8 最小描述长度    177

7.9 Vapnik-Chernovenkis 维数     178

7.10 交叉验证    182

7.10.1 𝑘 折交叉验证    182

7.10.2 交叉验证的错误和正确做法   185

7.10.3 交叉验证有效吗？   186

7.11 自举法      188

7.12 条件还是期望测试误差？      191

文献说明   193

习题     194

第8 章模型的推断和平均    197

8.1 概述   197

8.2 Bootstrap 和最大似然方法     197

8.2.1 一个光滑的示例  197

8.2.2 最大似然推断    199

8.2.3 Bootstrap 与最大似然  201

8.3 贝叶斯方法    202

8.4 Bootstrap 和贝叶斯推断的联系   204

8.5 EM 算法      205

8.5.1 两分量混合模型  205

8.5.2 通用EM 算法    208

8.5.3 作为最大化－最大化过程的EM    209

8.6 MCMC 用于从后验中采样     210

8.7 Bagging       213

8.8 模型平均和Stacking   217

8.9 随机搜索：Bumping   219

文献说明   220

习题     221

第9 章加性模型、树和相关方法     223

9.1 广义加性模型    223

9.1.1 拟合加性模型    224

9.1.2 示例：加性Logistics 回归     226

9.1.3 示例：预测垃圾电子邮件     227

9.1.4 小结      229

9.2 基于树的方法    230

9.2.1 背景      230

9.2.2 回归树    231

9.2.3 分类树    233

9.2.4 其他问题      234

9.2.5 示例：垃圾邮件(续)   236

9.3 PRIM：凸块搜索    240

9.4 MARS：多元自适应回归样条   243

9.4.1 示例：垃圾邮件（续）      246

9.4.2 示例：模拟数据  247

9.4.3 其他问题      248

9.5 层次专家混合    248

9.6 缺失数据      251

9.7 计算考虑      252

文献说明   252

习题     253

第10 章Boosting 和加性树  255

10.1 Boosting 方法    255

10.2 Boosting 拟合加性模型     258

10.3 前向分阶段加性建模  258

10.4 指数损失和AdaBoost   259

10.5 为什么要用指数损失  261

10.6 损失函数和鲁棒性  262

10.6.1 用于分类的鲁棒损失函数   262

10.6.2 回归的鲁棒损失函数     264

10.7 数据挖掘的“现成”过程     265

10.8 示例：垃圾邮件数据  266

10.9 Boosting 树    268

10.10 通过梯度Boosting 的数值优化   270

10.10.1 最速下降    270

10.10.2 梯度Boosting   271

10.10.3 梯度Boosting 的执行     272

10.11 Boosting 合适大小的树     273

10.12 正则化      275

10.12.1 收缩    275

10.12.2 子采样      276

10.13 解释      277

10.13.1 预测变量的相对重要性     277

10.13.2 部分相关性图  278

10.14 实例      280

10.14.1 加州住房    280

10.14.2 新西兰黑鲂鱼  283

10.14.3 人口统计数据  287

文献说明   289

习题     290

第11 章神经网络    293

11.1 概述      293

11.2 投影寻踪回归    293

11.3 神经网络    295

11.4 拟合神经网络    297

11.5 神经网络训练中的一些问题   299

11.5.1 初始值    299

11.5.2 过拟合    299

11.5.3 输入数据的尺度  301

11.5.4 隐层是神经网络的学术语   301

11.5.5 多个极小值    301

11.6 示例：仿真数据    301

11.7 示例：邮政编码数据  303

11.8 讨论      307

11.9 贝叶斯神经网络和NIPS 2003 挑战   307

11.9.1 贝叶斯，Boosting 和Bagging      308

11.9.2 性能比较    309

11.10 计算问题    311

文献说明   312

习题     312

第12 章支持向量机与柔性判别分析   315

12.1 概述      315

12.2 支持向量机分类器  315

12.2.1 支持向量分类器的计算     317

12.2.2 示例：混合模型（续）      318

12.3 支持向量机与核    319

12.3.1 计算分类的SVM   320

12.3.2 作为罚方法的SVM   322

12.3.3 函数估计和重建核  323

12.3.4 SVM 和维数灾难  325

12.3.5 SVM 分类器的路径算法     326

12.3.6 用于回归支持向量机     328

12.3.7 回归与核    329

12.3.8 讨论    330

12.4 线性判别分析泛化  331

12.5 柔性判别分析    332

12.6 罚判别分析      337

12.7 混合判别分析    339

文献说明   343

习题     344

第13 章原型方法与最近邻  347

13.1 概述      347

13.2 原型方法    347

13.2.1 𝐾-均值聚类    347

13.2.2 向量量化学习  348

13.2.3 混合高斯    349

13.3 𝐾-近邻分类器    350

13.3.1 示例：一个比较性研究     352

13.3.2 示例：𝐾-近邻和图像场景分类   353

13.3.3 不变度量和切距离  355

13.4 自适应最近邻方法  357

13.4.1 示例    360

13.4.2 最近邻的全局维数约简     361

13.5 计算考虑    361

文献说明   362

习题     362

第14 章非监督学习    365

14.1 概述      365

14.2 关联规则    366

14.2.1 购物车分析    367

14.2.2 Apriori 算法    368

14.2.3 示例：购物车分析  370

14.2.4 非监督作为监督学习     372

14.2.5 广义关联规则  374

14.2.6 监督学习方法的选择     375

14.2.7 示例：购物车分析（续）    376

14.3 聚类分析    377

14.3.1 邻接矩阵    378

14.3.2 基于属性的不相似性     379

14.3.3 目标不相似性  380

14.3.4 聚类算法    382

14.3.5 组合算法    382

14.3.6 𝐾-均值算法    383

14.3.7 作为软𝐾-均值聚类的高斯混合   385

14.3.8 示例：人类癌症微阵列数据   385

14.3.9 向量量化    387

14.3.10 𝐾-中心点    388

14.3.11 实际问题    390

14.3.12 层次聚类    391

14.3.13 聚合聚类    394

14.4 自组织映射      398

14.5 主成分、主曲线和主曲面     402

14.5.1 主成分    402

14.5.2 主曲线和主曲面  407

14.5.3 谱聚类    409

14.5.4 核主成分    411

14.6 非负矩阵分解    415

14.7 独立分量分析和探测式投影寻踪   419

14.7.1 隐变量和因子分析  419

14.7.2 独立分量分析  421

14.7.3 探测式投影寻踪  425

14.7.4 ICA 的直接方法  425

14.8 多维尺度    428

14.9 非线性维数约简和局部多维尺度   430

14.10 谷歌的PageRank 算法     432

文献说明   434

习题     435

第15 章随机森林    441

15.1 概述      441

15.2 随机森林的定义    441

15.3 随机森林的细节    444

15.3.1 包外样本    445

15.3.2 变量重要性    445

15.3.3 邻近图    446

15.3.4 随机森林与过拟合  447

15.4 分析随机森林    449

15.4.1 变量与去相关影响  449

15.4.2 偏差    451

15.4.3 自适应最近邻  451

文献说明   452

习题     452

第16 章集成学习    455

16.1 概述      455

16.2 Boosting 与正则化路径     456

16.2.1 惩罚式回归    456

16.2.2 “押稀疏”原则  459

16.2.3 正则化路径，过拟合与边缘   461

16.3 集成学习    463

16.3.1 学习一个好的集成  464

16.3.2 规则集成    466

文献说明   468

习题     468

第17 章无向图模型    471

17.1 概述      471

17.2 马尔可夫图及其性质  472

17.3 连续变量的无向图模型     474

17.3.1 当图结构已知时的参数估计   475

17.3.2 图结构的估计  478

17.4 离散变量的无向图模型     481

17.4.1 图结构已知时参数的估计   481

17.4.2 隐节点    482

17.4.3 图结构的估计  484

17.4.4 受限玻尔兹曼机  484

文献说明   486

习题     486

第18 章高维问题：p≫N   489

18.1 𝑝 远大于𝑁 的情形  489

18.2 对角线性判别分析与最近收缩质心   490

18.3 二次正则化的线性分类器     494

18.3.1 正则化判别分析  494

18.3.2 二次正则化的Logistic 回归   495

18.3.3 支持向量分类器  495

18.3.4 特征选择    496

18.3.5 𝑝 ≫ 𝑁 时的计算捷径     496

18.4 𝐿1 正则化的线性分类器     498

18.4.1 Lasso 在蛋白质质谱仪中的应用   500

18.4.2 函数型数据的融合Lasso      502

18.5 特征无法获取时的分类     502

18.5.1 示例：字符串核以及蛋白质分类   504

18.5.2 使用内积核以及成对距离的分类和其他模型  505

18.5.3 示例：摘要分类  507

18.6 高维回归：有监督主成分     508

18.6.1 与隐变量模型的关联     511

18.6.2 与偏最小二乘的关联     512

18.6.3 特征选择的预条件处理     514

18.7 特征评估和多重检验问题     515

18.7.1 错误发现率    517

18.7.2 非对称割点和SAM 过程     520

18.7.3 FDR 的贝叶斯解释  521

文献说明   522

习题     522

参考文献     527

关键名词和术语中英文对照    543