目   录

基础篇

第1章  导论  003

1.1  机器学习应用 003

1.2  机器学习框架的设计目标 004

1.3  机器学习框架的基本组成原理 005

1.4  机器学习系统生态 006

1.5  本书结构和读者对象 007

第2章  编程模型 009

2.1  机器学习系统编程模型的演进 009

2.2  机器学习工作流 011

2.2.1  环境配置 011

2.2.2  数据处理 012

2.2.3  模型定义 013

2.2.4  损失函数和优化器 014

2.2.5  训练及保存模型 015

2.2.6  测试和验证 016

2.3  定义深度神经网络 017

2.3.1  以层为核心定义神经网络 017

2.3.2  神经网络层的实现原理 021

2.3.3  自定义神经网络层 022

2.3.4  自定义神经网络模型 023

2.4  C/C++编程接口 024

2.4.1  在Python中调用C/C++函数的原理 025

2.4.2  添加C++编写的自定义算子 025

2.5  机器学习框架的编程范式 030

2.5.1  机器学习框架编程需求 030

2.5.2  机器学习框架编程范式现状 030

2.5.3  函数式编程案例 031

2.6  总结 032

2.7  拓展阅读 032

第3章  计算图  033

3.1  设计背景和作用 033

3.2  计算图的基本构成 034

3.2.1  张量和算子 035

3.2.2  计算依赖 037

3.2.3  控制流 038

3.2.4  基于链式法则计算梯度 041

3.3  计算图的生成 043

3.3.1  静态生成 043

3.3.2  动态生成 046

3.3.3  动态图和静态图生成的比较 048

3.3.4  动态图与静态图的转换和融合 049

3.4  计算图的调度 051

3.4.1  算子调度执行 051

3.4.2  串行与并行 052

3.4.3  数据载入同步与异步机制 053

3.5  总结 054

3.6  拓展阅读 055

进阶篇

第4章  AI 编译器和前端技术 059

4.1  AI编译器设计原理 059

4.2  AI编译器前端技术概述 061

4.3  中间表示 062

4.3.1  中间表示的基本概念 062

4.3.2  中间表示的种类 063

4.3.3  机器学习框架的中间表示 065

4.4  自动微分 072

4.4.1  自动微分的基本概念 072

4.4.2  前向与反向自动微分 074

4.4.3  自动微分的实现 077

4.5  类型系统和静态分析 081

4.5.1  类型系统概述 081

4.5.2  静态分析概述 082

4.6  常见前端编译优化方法 083

4.6.1  前端编译优化简介 083

4.6.2  常见编译优化方法介绍及实现 083

4.7  总结 085

第5章  AI 编译器后端和运行时 086

5.1  概述 086

5.2  计算图优化 088

5.2.1  通用硬件优化 088

5.2.2  特定硬件优化 090

5.3  算子选择 091

5.3.1  算子选择的基础概念 091

5.3.2  算子选择的过程 095

5.4  内存分配 095

5.4.1  Device内存概念 096

5.4.2  内存分配 096

5.4.3  内存复用 098

5.4.4  常见的内存分配优化手段 099

5.5  计算调度与执行 101

5.5.1  单算子调度 101

5.5.2  计算图调度 102

5.5.3  交互式执行 106

5.5.4  下沉式执行 110

5.6  算子编译器 110

5.6.1  算子调度策略 111

5.6.2  子策略组合优化 112

5.6.3  调度空间算法优化 114

5.6.4  芯片指令集适配 115

5.6.5  算子表达能力 116

5.6.6  相关编译优化技术 117

5.7  总结 117

5.8  拓展阅读 118

第6章  硬件加速器  119

6.1  概述 119

6.1.1  硬件加速器设计的意义 119

6.1.2  硬件加速器设计的思路 119

6.2  硬件加速器基本组成原理 120

6.2.1  硬件加速器的架构 120

6.2.2  硬件加速器的存储单元 121

6.2.3  硬件加速器的计算单元 122

6.2.4  DSA芯片架构 124

6.3  加速器基本编程原理 125

6.3.1  硬件加速器的可编程性 125

6.3.2  硬件加速器的多样化编程方法 128

6.4  加速器实践 132

6.4.1  环境 132

6.4.2  广义矩阵乘法的朴素实现 133

6.4.3  提高计算强度 135

6.4.4  使用共享内存缓存复用数据 138

6.4.5  减少寄存器使用 139

6.4.6  隐藏共享内存读取延迟 140

6.4.7  隐藏全局内存读取延迟 141

6.4.8  与cuBLAS对比 142

6.4.9  小结 143

6.5  总结 143

6.6  拓展阅读 144

第7章  数据处理 145

7.1  概述 146

7.1.1  易用性 146

7.1.2  高效性 147

7.1.3  保序性 147

7.2  易用性设计 147

7.2.1  编程抽象与接口 147

7.2.2  自定义算子支持 151

7.3  高效性设计 153

7.3.1  数据读取的高效性 154

7.3.2  数据计算的高效性 157

7.4  保序性设计 162

7.5  单机数据处理性能的扩展 163

7.5.1  基于异构计算的数据预处理 163

7.5.2  基于分布式的数据预处理 165

7.6  总结 166

第8章  模型部署 168

8.1  概述 168

8.2  训练模型到推理模型的转换及优化 169

8.2.1  模型转换 169

8.2.2  算子融合 170

8.2.3  算子替换 172

8.2.4  算子重排 173

8.3  模型压缩 173

8.3.1  量化 174

8.3.2  模型稀疏 176

8.3.3  知识蒸馏 178

8.4  模型推理 179

8.4.1  前处理与后处理 179

8.4.2  并行计算 180

8.4.3  算子优化 181

8.5  模型的安全保护 186

8.5.1  概述 186

8.5.2  模型混淆 186

8.6  总结 188

8.7  拓展阅读 189

第9章  分布式训练 190

9.1  设计概述 190

9.1.1  设计动机 190

9.1.2  系统架构 191

9.1.3  用户益处 192

9.2  实现方法 192

9.2.1  方法分类 192

9.2.2  数据并行 194

9.2.3  模型并行 194

9.2.4  混合并行 197

9.3  流水线并行 197

9.4  机器学习集群架构 198

9.5  集合通信 200

9.5.1  常见集合通信算子 200

9.5.2  基于AllReduce的梯度平均算法 203

9.5.3  集合通信算法性能分析 205

9.5.4  利用集合通信优化模型训练的实践 206

9.5.5  集合通信在数据并行的实践 207

9.5.6  集合通信在混合并行的实践 208

9.6  参数服务器 210

9.6.1  系统架构 210

9.6.2  异步训练 211

9.6.3  数据副本 212

9.7  总结 212

9.8  拓展阅读 213

拓展篇

第10章  联邦学习系统 217

10.1  概述 217

10.1.1  定义 217

10.1.2  应用场景 217

10.1.3  部署场景 218

10.1.4  常用框架 218

10.2  横向联邦学习 219

10.2.1  云云场景中的横向联邦 219

10.2.2  端云场景中的横向联邦 220

10.3  纵向联邦学习 222

10.3.1  纵向联邦架构 222

10.3.2  样本对齐 223

10.3.3  联合训练 224

10.4  隐私加密算法 225

10.4.1  基于LDP算法的安全聚合 226

10.4.2  基于MPC算法的安全聚合 226

10.4.3  基于LDP-SignDS算法的安全聚合 227

10.5  展望 229

10.5.1  异构场景下的联邦学习 229

10.5.2  通信效率提升 230

10.5.3  联邦生态 230

10.6  总结 231

第11章  推荐系统 232

11.1  系统基本组成 232

11.1.1  消息队列 233

11.1.2  特征存储 233

11.1.3  稠密神经网络 234

11.1.4  嵌入表 234

11.1.5  训练服务器 235

11.1.6  参数服务器 235

11.1.7  推理服务器 236

11.2  多阶段推荐系统 236

11.2.1  推荐流水线概述 236

11.2.2  召回 237

11.2.3  排序 239

11.3  模型更新 241

11.3.1  持续更新模型的需求 241

11.3.2  离线更新 242

11.4  案例分析：支持在线模型更新的大型推荐系统 243

11.4.1  系统设计挑战 244

11.4.2  系统架构 245

11.4.3  点对点模型更新传播算法 246

11.4.4  模型更新调度器 247

11.4.5  模型状态管理器 248

11.4.6  小结 249

11.5  总结 249

11.6  扩展阅读 250

第12章  强化学习系统 251

12.1  强化学习介绍 251

12.2  单节点强化学习系统 252

12.3  分布式强化学习系统 255

12.4  多智能体强化学习 257

12.5  多智能体强化学习系统 260

12.6  总结 264

第13章  可解释AI 系统 265

13.1  背景 265

13.2  可解释AI定义 266

13.3  可解释AI算法现状介绍 267

13.3.1  数据驱动的解释 267

13.3.2  知识感知的解释 270

13.4  常见可解释AI系统 272

13.5  案例分析：MindSpore XAI 273

13.5.1  为图片分类场景提供解释 273

13.5.2  为表格数据场景提供解释 275

13.5.3  白盒模型 276

13.6  未来研究方向 277

13.7  总结 277

第14章  机器人系统 278

14.1  机器人系统概述 278

14.1.1  感知系统 279

14.1.2  规划系统 280

14.1.3  控制系统 281

14.1.4  机器人安全 282

14.2  机器人操作系统 283

14.2.1  ROS2节点 285

14.2.2  ROS2主题 285

14.2.3  ROS2服务 286

14.2.4  ROS2参数 286

14.2.5  ROS2动作 286

14.3  案例分析：使用机器人操作系统 287

14.3.1  创建节点 290

14.3.2  读取参数 296

14.3.3  服务端-客户端服务模式 298

14.3.4  客户端 301

14.3.5  动作模式 303

14.3.6  动作客户端 305

14.4  总结 308

参考文献 309