目  录

第1章  人工智能概述 1

1.1  AI是什么 2

1.1.1  火热的AI 2

1.1.2  AI的驱动因素 3

1.2  AI技术的成熟度 4

1.2.1  视觉识别 4

1.2.2  自然语言理解 5

1.2.3  机器人 7

1.2.4  自动驾驶 7

1.2.5  机器学习 8

1.2.6  游戏 9

1.3  AI与大数据的关系 10

1.4  AI与云计算的关系 13

1.5  AI技术路线 14

第2章   AI产业 16

2.1  基础层 17

2.1.1  芯片产业 18

2.1.2  GPU 20

2.1.3  FPGA 20

2.1.4  ASIC 21

2.1.5  TPU 21

2.1.6  亚马逊的芯片 22

2.1.7  芯片产业小结 23

2.1.8  传感器 24

2.1.9  传感器小结 26

2.2  技术层 27

2.2.1  机器学习 28

2.2.2  语音识别与自然语言处理 29

2.2.3  计算机视觉 32

2.3  应用层 34

2.3.1  安防 34

2.3.2  金融 35

2.3.3  制造业 37

2.3.4  智能家居 37

2.3.5  医疗 38

2.3.6  自动驾驶 40

2.4  AI产业发展趋势分析 44

第3章  机器学习概述 47

3.1  走进机器学习 47

3.1.1  什么是机器学习 47

3.1.2  机器学习的感性认识 48

3.1.3  机器学习的本质 48

3.1.4  对机器学习的全面认识 50

3.1.5  机器学习、深度学习与人工智能 50

3.1.6  机器学习、数据挖掘与数据分析 51

3.2  机器学习的基本概念 53

3.2.1  数据集、特征和标签 53

3.2.2  监督式学习和非监督式学习 54

3.2.3  强化学习和迁移学习 54

3.2.4  特征数据类型 56

3.2.5  训练集、验证集和测试集 56

3.2.6  机器学习的任务流程 57

3.3  数据预处理 57

3.3.1  探索性分析 58

3.3.2  数据清洗 58

3.3.3  特征工程 59

3.4  算法 60

3.5  初探机器学习的开源框架 61

3.5.1  scikit-learn简介 62

3.5.2  第一个机器学习实例 62

3.5.3  Jupyter Notebook 64

3.5.4  更多实例分析 67

第4章  特征工程 72

4.1  数据预处理 72

4.1.1  量纲不统一 73

4.1.2  把定量特征二值化（用于列向量） 74

4.1.3  对定性特征进行编码 74

4.1.4  缺失值处理（用于列向量） 76

4.1.5  数据变换 76

4.1.6  数据预处理总结 77

4.2  特征选择 77

4.2.1  Filter法 78

4.2.2  Wrapper法 78

4.2.3  Embedded法 79

4.2.4  特征选择总结 79

4.3  降维 79

4.4  特征工程实例分析 80

4.4.1  数据相关性分析（手工选择特征） 80

4.4.2  数据预处理 82

4.4.3  特征抽取 85

4.4.4  特征工程总结 86

第5章  模型训练和评估 88

5.1  什么是模型 88

5.2  误差和MSE 90

5.3  模型的训练 91

5.3.1  模型与算法的区别 91

5.3.2  迭代法 92

5.4  梯度下降法 93

5.4.1  步长 94

5.4.2  优化步长 94

5.4.3  三类梯度下降法 95

5.4.4  梯度下降的详细算法 96

5.5  模型的拟合效果 97

5.5.1  欠拟合与过度拟合 97

5.5.2  过度拟合的处理方法 98

5.6  模型的评估 99

5.6.1  分类模型的评估 99

5.6.2  回归模型的拟合效果评估 106

5.6.3  其他的评价指标 106

5.7  模型的改进 106

第6章  算法选择和优化 108

6.1  算法概述 108

6.1.1  线性回归 109

6.1.2  逻辑回归 109

6.1.3  线性判别分析 111

6.1.4  分类与回归树分析 111

6.1.5  朴素贝叶斯 112

6.1.6  K最近邻算法 113

6.1.7  学习向量量化 113

6.1.8  支持向量机 114

6.1.9  随机森林（Random Forest） 115

6.1.10  AdaBoost 115

6.2  支持向量机（SVM）算法 116

6.3  逻辑回归算法 118

6.4  KNN算法 119

6.4.1  超参数k 120

6.4.2  KNN实例：波士顿房价预测 121

6.4.3  算法评价 124

6.5  决策树算法 124

6.6  集成算法 127

6.6.1  集成算法简述 127

6.6.2  集成算法之Bagging 127

6.6.3  集成算法之Boosting 128

6.7  聚类算法 129

6.7.1  K均值聚类 130

6.7.2  均值漂移聚类 131

6.7.3  基于密度的聚类算法 132

6.7.4  用高斯混合模型的最大期望聚类 133

6.7.5  凝聚层次聚类 134

6.7.6  图团体检测 135

6.8  机器学习算法实例 137

6.8.1  训练和预测 138

6.8.2  自动调参 139

6.8.3  尝试不同算法 141

第7章  深度学习 144

7.1  走进深度学习 144

7.1.1  深度学习为何崛起 145

7.1.2  从逻辑回归到浅层神经网络 145

7.1.3  深度神经网络 147

7.1.4  正向传播 148

7.1.5  激活函数 148

7.2  神经网络的训练 148

7.2.1  神经网络的参数 148

7.2.2  向量化 149

7.2.3  代价函数 149

7.2.4  梯度下降和反向传播 149

7.3  神经网络的优化和改进 150

7.3.1  神经网络的优化策略 150

7.3.2  正则化方法 152

7.4  卷积神经网络 154

7.4.1  卷积运算 154

7.4.2  卷积层 155

7.4.3  卷积神经网络（CNN）实例 156

7.5  深度学习的优势 161

7.6  深度学习的实现框架 162

第8章  TensorFlow 164

8.1  TensorFlow工具包 164

8.1.1  tf.estimator API 165

8.1.2  Pandas速成 165

8.1.3  必要的Python知识 167

8.2  第一个TensorFlow程序 169

8.2.1  加载数据 170

8.2.2  探索数据 171

8.2.3  训练模型 171

8.2.4  评估模型 173

8.2.5  优化模型 175

8.2.6  合成特征 181

8.2.7  离群值处理 184

8.3  过度拟合处理 187

8.3.1  训练集和测试集 188

8.3.2  验证集 189

8.3.3  过度拟合实例 190

8.4  特征工程 199

8.4.1  数值型数据 199

8.4.2  字符串数据和独热编码（One-Hot Encoding） 199

8.4.3  枚举数据（分类数据） 200

8.4.4  好特征 200

8.4.5  数据清洗 200

8.4.6  分箱（分桶）技术 202

8.4.7  特征工程实例 202

第9章  TensorFlow高级知识 212

9.1  特征交叉 212

9.1.1  什么是特征交叉 212

9.1.2  FTRL实践 214

9.1.3  分箱（分桶）代码实例 217

9.1.4  特征交叉代码实例 220

9.2  L2正则化 223

9.3  逻辑回归 225

9.4  分类 227

9.4.1  ROC和AUC 227

9.4.2  预测偏差 228

9.4.3  分类代码实例 229

9.5  L1正则化 241

第10章  神经网络 251

10.1  什么是神经网络 251

10.1.1  隐藏层 252

10.1.2  激活函数 253

10.1.3  ReLU 254

10.1.4  实例代码 254

10.2  训练神经网络 263

10.2.1  正向传播算法 263

10.2.2  反向传播算法 265

10.2.3  归一化特征值 267

10.2.4  随机失活正则化 267

10.2.5  代码实例 268

10.3  多类别神经网络 284

10.3.1  一对多方法 284

10.3.2  Softmax  285

10.3.3  代码实例 286

10.4  嵌入 301

10.4.1  协同过滤 301

10.4.2  稀疏数据 302

10.4.3  获取嵌入 304

10.4.4  代码实例 304

第11章  人工智能应用 315

11.1  银行业 315

11.2  医疗行业 316

11.3  公共安全 320

11.4  制造业 321

附录A  人工智能的历史发展 322

附录B  人工智能网上资料 327

附录C  本书中采用的人工智能中英文术语 330

附录D  术语列表 332