目    录

第 1 部分  FPGA与深度学习基础

第 1 章  FPGA与Verilog HDL基础 2

1.1  FPGA的基本架构与计算特性 2

1.1.1  FPGA的基本架构：LUT、BRAM、DSP与互连 2

1.1.2  FPGA的并行计算特性及其相较于GPU、CPU的优势 4

1.1.3  FPGA在深度学习中的主要应用场景 6

1.2  Verilog HDL基础：从硬件描述到综合 7

1.2.1  Verilog HDL的基本语法与结构 8

1.2.2  组合逻辑、时序逻辑与有限状态机（FSM）设计 18

1.2.3  FPGA综合优化：面积、速度与功耗的权衡 21

1.3  FPGA设计流程与EDA工具链 23

1.3.1  从RTL到Bitstream：FPGA的基本设计流程 24

1.3.2  Vivado、Quartus与Synplify：主流EDA工具解析 26

1.3.3  FPGA硬件仿真、调试与后端实现 29

1.4  FPGA存储架构与数据优化 31

1.4.1  FPGA内存体系：BRAM、SRAM、DDR与HBM 32

1.4.2  数据搬移优化：DMA、AXI总线与片上缓存策略 33

1.4.3  计算资源优化：流水线、并行计算与算子融合 34

1.5  FPGA、ASIC与GPU：AI计算加速方案对比 35

1.5.1  GPU加速大模型计算的特点与限制 35

1.5.2  ASIC在AI计算中的优势 36

1.5.3  FPGA的灵活性与计算优化能力对比 36

1.6  本章小结 38

1.7  思考题 38

第 2 章  从早期神经网络到深度学习 40

2.1  神经网络的基本概念 40

2.1.1  感知机与多层感知机 40

2.1.2  反向传播算法与梯度下降 42

2.1.3  神经网络的收敛性与计算复杂度 43

2.2  卷积神经网络计算特性 43

2.2.1  CNN的基本架构：卷积、池化与全连接层 43

2.2.2  CNN在计算中的主要瓶颈：存储与计算密集型任务 48

2.2.3  CNN加速策略：Winograd变换、FFT与剪枝 49

2.3  递归神经网络与自注意力机制 53

2.3.1  RNN、LSTM与GRU的结构与计算特点 53

2.3.2  注意力机制的引入与改进 54

2.3.3  自注意力机制与Transformer架构 54

2.4  Transformer架构的计算特性 56

2.4.1  Transformer的基本计算流程与并行计算特点 57

2.4.2  多头注意力与矩阵运算优化 60

2.4.3  位置编码计算 64

2.5  深度学习计算的FPGA优化思路 67

2.5.1  计算图的硬件实现 67

2.5.2  数据复用、带宽优化与低比特量化计算 71

2.6  本章小结 74

2.7  思考题 75

第 3 章  深度学习计算加速的基本思路 76

3.1  硬件加速基础：并行计算与流水线优化 76

3.1.1  数据流架构与计算优化 76

3.1.2  计算任务的并行化与时序优化 77

3.1.3  指令级并行与数据级并行在FPGA中的实现 78

3.2  FPGA在神经网络计算中的优化策略 82

3.2.1  计算任务拆分：时间复用与空间复用 82

3.2.2  低精度计算（INT8、FP16、BF16）在FPGA上的实现 84

3.2.3  内存优化：权重压缩与稀疏矩阵计算 87

3.3  模型剪枝与量化技术 91

3.3.1  模型剪枝技术与硬件映射 91

3.3.2  量化感知训练与训练后量化 93

3.4  大规模计算的存储优化 96

3.4.1  片上缓存与数据复用策略 96

3.4.2  DDR、HBM带宽优化：预取与访存调度 97

3.4.3  计算－存储协同优化策略 100

3.4.4  深度学习编译器与FPGA加速 100

3.4.5  TVM、XLA与OneAPI：神经网络编译优化 101

3.4.6  HLS与RTL优化的对比 104

3.5  本章小结 108

3.6  思考题 108

第 2 部分  FPGA在大模型加速中的应用

第 4 章  Transformer模型的硬件加速 112

4.1  Transformer的计算瓶颈分析 112

4.1.1  自注意力机制的计算复杂度 112

4.1.2  前馈神经网络与矩阵乘法加速 113

4.1.3  KV缓存与存储优化 118

4.2  FPGA在Transformer计算中的应用 121

4.2.1  矩阵乘法优化：Tile-Based Computation 121

4.2.2  自注意力计算的硬件优化 121

4.2.3  FPGA在低比特Transformer中的应用 122

4.3  大模型推理的硬件优化策略 126

4.3.1  动态批处理与推理加速 126

4.3.2  低精度推理（BF16、INT8）在FPGA上的实现 127

4.3.3  计算－通信协同优化——流水线并行 131

4.4  本章小结 131

4.5  思考题 132

第 5 章  FPGA在大模型训练中的应用 133

5.1  训练任务的计算特性 133

5.1.1  训练与推理：计算模式的区别 133

5.1.2  计算密集型与存储密集型任务分析 134

5.2  反向传播的硬件优化 134

5.2.1  误差反向传播计算的矩阵运算特性 135

5.2.2  梯度计算与权重更新的优化策略 135

5.2.3  使用FPGA高效实现自动微分 136

5.3  FPGA在大规模训练中的优势 139

5.3.1  低延迟计算的硬件实现 139

5.3.2  片上并行流水线训练优化 141

5.3.3  数据搬移与访存优化 146

5.3.4  训练数据流的批处理与调度策略 148

5.3.5  计算－存储比优化：减少访存瓶颈 151

5.3.6  FPGA与GPU协同训练的应用 154

5.4  本章小结 155

5.5  思考题 155

第 6 章  FPGA在异构计算架构中的角色 157

6.1  FPGA、CPU与GPU协同计算架构 157

6.1.1  异构计算的基本概念与挑战 157

6.1.2  FPGA作为协处理器的计算任务分配 158

6.1.3  低延迟数据交换机制 160

6.2  高速互连技术与数据传输优化 164

6.2.1  PCIe、NVLink与CCIX的对比分析 164

6.2.2  FPGA的数据传输优化方案 166

6.3  本章小结 168

6.4  思考题 169

第 7 章  模型压缩与量化技术 170

7.1  模型剪枝技术 170

7.1.1  结构化剪枝与非结构化剪枝 170

7.1.2  剪枝算法与硬件映射优化 171

7.1.3  剪枝在FPGA计算中的适配性 173

7.2  低比特量化在FPGA上的实现 174

7.2.1  INT8、FP16、BF16的硬件实现区别 174

7.2.2  量化感知训练与传统量化方法 176

7.2.3  量化计算对FPGA资源使用的影响 178

7.3  知识蒸馏加速推理 178

7.3.1  知识蒸馏的基本原理 178

7.3.2  轻量级子模型的训练与部署 179

7.3.3  知识蒸馏在硬件加速中的应用 181

7.4  模型压缩在FPGA推理中的应用 183

7.4.1  大规模Transformer模型的存储优化 184

7.4.2  稀疏计算在FPGA上的实现方案 184

7.4.3  FPGA如何支持动态精度计算 186

7.5  大模型推理中的带宽优化 189

7.5.1  存储与计算的权衡 189

7.5.2  内存管理优化策略 190

7.5.3  FPGA的片上存储架构优化 192

7.6  本章小结 193

7.7  思考题 193

第 8 章  面向FPGA的深度学习编译器 195

8.1  深度学习编译器概述 195

8.1.1  TVM、XLA、TensorRT的对比分析 195

8.1.2  计算图优化与硬件后端映射 196

8.1.3  编译器在FPGA计算优化中的作用 198

8.2  高层次综合与RTL优化 202

8.2.1  HLS编程与RTL设计：适用场景分析 203

8.2.2  HLS自动优化策略 203

8.2.3  RTL的手工优化方法 204

8.3  FPGA编译优化的关键技术 207

8.3.1  硬件计算图 207

8.3.2  计算任务的自动划分与映射 207

8.4  面向FPGA的端到端编译框架 212

8.4.1  TVM的FPGA后端优化 212

8.4.2  MLIR在FPGA计算中的应用 214

8.4.3  自动化硬件映射与性能调优 218

8.5  本章小结 220

8.6  思考题 221

第 3 部分  FPGA加速实战与优化策略

第 9 章  FPGA加速大模型训练实战应用 224

9.1  训练过程的计算挑战 224

9.1.1  训练中的计算密集型任务与存储瓶颈 224

9.1.2  反向传播的计算特性与优化思路 229

9.1.3  计算图优化对硬件加速的影响 233

9.2  FPGA在大规模梯度计算中的应用 237

9.2.1  矩阵乘法优化：基于切块的计算 237

9.2.2  低精度计算 240

9.2.3  动态计算优化 244

9.3  FPGA的片上训练架构优化 249

9.3.1  数据复用与流水线优化策略 249

9.3.2  计算－存储协同优化：带宽与延迟的平衡 253

9.3.3  训练任务的硬件分布式调度 256

9.4  FPGA在分布式训练中的应用 258

9.4.1  FPGA-CPU-GPU协同计算训练架构 258

9.4.2  FPGA支持的混合并行训练策略 258

9.4.3  高速互连技术在训练中的优化 263

9.5  本章小结 266

9.6  思考题 266

第 10 章  FPGA加速大模型推理实战应用 268

10.1  推理任务的特点与硬件加速需求 268

10.1.1  推理过程中的计算与延迟要求 268

10.1.2  内存和存储带宽的优化问题 269

10.1.3  在FPGA上的推理架构选择 273

10.1.4  使用HLS完成模型推理与训练的差异化设计 274

10.2  采用HLS实现深度学习推理加速 279

10.2.1  Vivado HLS深度解析 279

10.2.2  基于HLS的张量运算加速器设计 282

10.2.3  基于HLS的推理过程中的计算精度与优化 285

10.2.4  FPGA资源利用率与推理性能的关系 288

10.3  低精度计算与FPGA推理优化 289

10.3.1  基于systemVerilog的INT8、FP16精度的硬件实现 289

10.3.2  低比特量化在FPGA推理中的应用 293

10.3.3  数据压缩与内存带宽优化 295

10.3.4  量化与硬件资源映射策略 300

10.4  推理过程中的动态批处理优化 300

10.4.1  动态批处理的FPGA实现策略 300

10.4.2  流水线化设计与计算资源优化 301

10.4.3  Zynq异构计算平台中的批处理优化 304

10.4.4  Verilog中的批处理调度与性能提升 307

10.5  数据通信与存储优化：FPGA加速推理 308

10.5.1  数据传输与内存访问优化 308

10.5.2  FPGA中的片上缓存与数据复用 311

10.5.3  高效的存储映射与并行计算 312

10.6  FPGA推理加速与自动化编译框架的结合 312

10.6.1  TVM与FPGA推理加速的结合 312

10.6.2  编译器优化与硬件资源映射 314

10.6.3  硬件加速与云端推理的协同工作 315

10.7  本章小结 315

10.8  思考题 316

第 11 章  超标量架构与双通路优化：OpenCL与HLS的应用实战 317

11.1  OpenCL与FPGA加速框架 317

11.1.1  OpenCL在FPGA中的工作原理 317

11.1.2  FPGA加速框架的硬件抽象层 319

11.1.3  OpenCL编译流程与优化策略 321

11.2  HLS在大模型训练中的应用 321

11.2.1  HLS编程模型与FPGA设计流程 322

11.2.2  HLS优化策略与性能提升 323

11.2.3  HLS与RTL设计的协同工作 325

11.3  矩阵运算与梯度计算加速 328

11.3.1  矩阵乘法的HLS与OpenCL实现 329

11.3.2  利用OpenCL完成梯度计算的流水线设计与优化 332

11.3.3  数据存取与内存带宽优化 335

11.4  控制通路与数据通路优化 338

11.4.1  控制通路设计与时序优化 338

11.4.2  数据通路的并行化与流水线 342

11.4.3  控制通路与数据通路的协同优化 345

11.5  超标量架构与超长指令字在FPGA中的实现 349

11.5.1  超标量架构的设计与应用 349

11.5.2  超长指令字在FPGA中的实现方法 350

11.5.3  高效的计算任务调度与并行执行 352

11.6  本章小结 356

11.7  思考题 357

第 12 章  AI编译器：Chisel与SystemVerilog的应用实战 358

12.1  Chisel与SystemVerilog在推理加速中的应用 358

12.1.1  Chisel与SystemVerilog语言对比 358

12.1.2  推理加速中的硬件模块设计与映射 362

12.1.3  基于Chisel与SystemVerilog的硬件模块优化 365

12.2  AI编译器与FPGA推理加速 369

12.2.1  AI编译器的工作原理与FPGA适配 369

12.2.2  推理任务的硬件映射与优化 370

12.2.3  编译器优化策略与FPGA性能提升 372

12.3  高效数据流与存储优化 375

12.3.1  FPGA中的数据流设计与优化 375

12.3.2  存储架构优化与内存带宽管理 375

12.4  FPGA推理加速中的计算资源调度与分配 378

12.4.1  计算资源的动态调度与任务划分 378

12.4.2  硬件资源调度算法与并行推理 378

12.4.3  FPGA资源分配与多任务推理的协同优化 381

12.5  本章小结 385

12.6  思考题 385