目录

第1章绪论

1．1人工神经网络发展史

1．1．1人工神经网络的提出

1．1．2人工神经网络的陨落

1．1．3人工神经网络的兴起

1．1．4深度学习的提出

1．2人工神经网络学习机理

1．2．1生物学机理

1．2．2浅层学习

1．2．3深度学习

1．2．4特征学习

第2章神经网络基础

2．1概述

2．2感知器

2．2．1感知器学习规则

2．2．2感知器原理

2．3线性单元

2．4δ学习规则

2．5BP神经网络结构

2．5．1BP神经网络原理

2．5．2BP神经元偏移量

2．5．3BP神经网络非线性表达能力

2．6反向传播算法

2．6．1误差项推导

2．6．2误差反向传播算法流程

2．6．3误差反向传播算法计算示例

2．7梯度检查

2．8超参数的确定

2．9模型训练与评估

2．10向量化编程

第3章自编码器

3．1自编码器原理

3．2不同种类的自编码器

3．2．1正则自编码器

3．2．2稀疏自编码器

3．2．3去噪自编码器

3．3堆叠自编码器

3．4预训练与深度学习

3．5Softmax与交叉熵函数融合

3．6深度神经网络权值初始化方法

3．6．1Xavier初始化方法

3．6．2Kaiming初始化方法

3．6．3LeCun初始化方法

第4章卷积神经网络

4．1全连接神经网络局限性

4．2卷积神经网络原理

4．3卷积神经网络前向计算

4．3．1新的激活函数

4．3．2卷积层

4．3．3池化层

4．3．4全连接层

4．4卷积网络计算实例

4．5卷积神经网络训练

4．5．1池化层误差传递

4．5．2卷积层误差传递

4．5．3卷积层参数训练

4．5．4卷积神经网络训练流程

4．5．5卷积神经网络训练计算实例

4．6深度神经网络计算模式

4．6．1卷积计算加速

4．6．2自动微分方法

第5章卷积神经网络结构演化

5．1典型的卷积神经网络

5．1．1卷积网络加深

5．1．2卷积网络拓宽

5．1．3残差网络

5．2轻量化网络

5．3卷积操作模式设计

5．4全卷积网络

第6章深度残差网络

6．1概述

6．2残差网络结构

6．3残差网络讨论

6．4Highway Network

6．5残差网络变体

6．5．1Wide Residual Network

6．5．2ResNeXt

6．5．3DenseNet

6．5．4DPN

第7章目标检测算法

7．1传统目标检测方法

7．2基于深度学习的目标检测方法

7．2．1目标检测常用技术

7．2．2RCNN

7．2．3SPPNet

7．2．4Fast RCNN

7．2．5Faster RCNN 

7．2．6YOLO

7．2．7SSD

7．3目标检测算法的改进

第8章循环神经网络

8．1循环神经网络概述

8．1．1循环神经网络原理

8．1．2双向循环神经网络

8．1．3深度循环神经网络

8．1．4典型循环神经网络结构

8．2循环神经网络训练算法

8．2．1BPTT训练算法

8．2．2实时循环学习算法

8．2．3梯度爆炸与消失问题

8．3RNN应用

第9章长短时记忆网络

9．1LSTM原理

9．2LSTM前向计算

9．3LSTM网络训练

9．3．1网络训练算法

9．3．2误差项沿时间传递

9．3．3误差项沿网络层次传递

9．4GRU

9．4．1GRU前向计算

9．4．2GRU训练算法

第10章Transformer

10．1神经网络注意力机制

10．1．1神经网络注意力机制原理

10．1．2自注意力机制

10．2Transformer模型

10．2．1编码器模块

10．2．2解码器模块

10．3神经网络语言模型

10．3．1GPT模型

10．3．2BERT模型

10．3．3GLM模型

第11章生成式模型

11．1概述

11．2生成对抗网络

11．2．1生成模型

11．2．2判别模型

11．2．3目标函数

11．2．4典型生成对抗网络

11．3变分自编码器

11．3．1模型推导

11．3．2讨论

11．3．3VAE实现

11．4自回归模型

11．5扩散模型

第12章深度学习框架

12．1计算图

12．2典型深度学习框架

12．2．1国外深度学习框架

12．2．2国内深度学习框架

参考文献