目录

基础篇

第1章从ChatGPT谈起(5min)3

1.1ChatGPT概述3

1.1.1认识ChatGPT3

1.1.2ChatGPT的主要功能6

1.1.3其他大语言模型6

1.2ChatGPT和自然语言处理9

1.2.1ChatGPT用到的自然语言处理技术9

1.2.2预训练模型10

1.2.3ChatGPT技术架构浅谈13

1.2.4ChatGPT在自然语言处理中的优势和创新之处14

1.2.5ChatGPT与其他自然语言处理技术的结合与拓展15

1.3ChatGPT的应用领域15

1.4ChatGPT的重要意义16

1.5ChatGPT发展展望17

1.6ChatGPT的伦理问题19

1.7本章小结20

第2章自然语言处理基础(22min)21

2.1自然语言概述21

2.2自然语言处理的发展历程23

2.3自然语言处理与人工智能25

2.4自然语言处理相关研究内容28

2.4.1词法分析28

2.4.2句法分析28

2.4.3语义分析29

2.4.4信息抽取30

2.5自然语言处理相关应用33

2.5.1文本检索33

2.5.2问答系统34

2.5.3机器翻译35

2.5.4推荐系统37

2.5.5其他应用39

2.6本章小结39

第3章Python编程语言基础(27min)40

3.1Python集成开发环境40

3.1.1Anaconda的下载与安装40

3.1.2Spyder的使用45

3.1.3Jupyter Notebook的使用48

3.2Python程序设计52

3.2.1变量与数据类型52

3.2.2运算和函数65

3.3本章小结72

第4章自然语言处理相关工具库(27min)73

4.1Scikitlearn73

4.2NumPy75

4.3Pandas80

4.4NLTK85

4.5Matplotlib88

4.5.1Matplotlib的主要对象89

4.5.2图形绘制流程90

4.6TensorFlow92

4.7PyTorch94

4.8飞桨95

4.9本章小结99

第5章深度学习基础(32min)100

5.1感知机100

5.2简单神经网络101

5.2.1简单神经网络框架101

5.2.2激活函数102

5.2.3损失函数104

5.2.4梯度法106

5.2.5神经网络构建线性回归模型110

5.2.6神经网络构建逻辑回归模型110

5.3三层神经网络111

5.4深度学习与自然语言处理112

5.5本章小结115

第6章卷积神经网络(21min)117

6.1卷积神经网络概念117

6.2卷积神经网络模型结构117

6.3卷积层118

6.4池化层120

6.5代表性卷积神经网络121

6.5.1LeNet121

6.5.2AlexNet122

6.5.3VGGNet124

6.5.4GoogLeNet126

6.5.5ResNet130

6.6本章小结135

应用篇

第7章文本的局部式表示(30min)139

7.1向量空间模型139

7.2OneHot Encoding140

7.2.1OneHot Encoding简介140

7.2.2OneHot Encoding示例140

7.2.3OneHot Encoding的Python实现141

7.2.4OneHot Encoding的特点143

7.3BoW模型144

7.3.1BoW模型简介144

7.3.2基本BoW模型144

7.3.3基本BoW模型的Python实现145

7.3.4基本BoW模型的特点146

7.4TFIDF模型147

7.4.1TFIDF模型简介147

7.4.2TFIDF的计算147

7.4.3TFIDF模型的Python实现150

7.4.4TFIDF模型的特点153

7.4.5TFIDF模型的应用154

7.5NGram模型154

7.5.1NGram模型简介154

7.5.2NGram模型的Python实现155

7.5.3NGram模型的应用158

7.5.4NGram模型的特点159

7.6本章小结160

第8章深度学习和词嵌入模型(35min)161

8.1静态词嵌入模型162

8.1.1Word2Vec模型162

8.1.2GloVe模型167

8.1.3FastText模型168

8.2动态词嵌入模型169

8.2.1ELMO模型169

8.2.2OpenAIGPT模型169

8.2.3BERT模型170

8.3深度学习中的词嵌入171

8.3.1RNN与词嵌入171

8.3.2CNN与词嵌入172

8.3.3Transformer与词嵌入173

8.3.4预训练大模型的词嵌入177

8.4词嵌入的评估181

8.4.1外在评估181

8.4.2内在评估181

8.5词嵌入的应用184

8.6未来发展和趋势184

8.7本章小结185

第9章基于深度学习的文本语义计算(39min)186

9.1相似度任务场景187

9.2文本蕴含188

9.3文本重复190

9.4文本冲突191

9.5文本矛盾193

9.6距离函数194

9.6.1欧氏距离194

9.6.2余弦距离195

9.6.3马氏距离196

9.6.4曼哈顿距离197

9.6.5切比雪夫距离198

9.7基于深度学习的相似度模型199

9.7.1Siamese Networks199

9.7.2Triplet Networks201

9.7.3文本嵌入202

9.8相似度问题实例204

9.8.1文本相似度204

9.8.2图像相似度205

9.8.3音频相似度206

9.9本章小结207

第10章基于深度学习的文本分类(12min)209

10.1文本分类概述209

10.1.1文本分类任务背景209

10.1.2文本分类理论思想210

10.1.3文本数据预处理210

10.1.4文本特征处理211

10.1.5文本分类的形式化定义212

10.1.6文本分类的评测与评价214

10.2神经网络模型的文本分类215

10.2.1CNN的文本分类215

10.2.2RNN的文本分类216

10.2.3LSTM的文本分类218

10.3Transformer的文本分类220

10.3.1人类的视觉注意力220

10.3.2Attention的本质思想220

10.3.3Attention的工作原理和应用222

10.3.4Transformer的文本分类223

10.4预训练模型的文本分类224

10.4.1GPT模型225

10.4.2BERT模型226

10.5本章小结228

第11章基于深度学习的文本检索(28min)229

11.1文本检索相关概念229

11.2文本检索模型233

11.2.1经典检索模型233

11.2.2文本的排序234

11.3文本检索的评估236

11.3.1精确度236

11.3.2召回率237

11.3.3平均准确率237

11.3.4平均倒数排名238

11.3.5归一化折损累计增益239

11.4查询扩展技术243

11.5排序学习246

11.5.1排序学习技术概述246

11.5.2排序学习模型248

11.6基于深度学习的文本检索253

11.6.1神经检索模型的分类254

11.6.2其他分类方式256

11.7ChatGPT引领的下一代文本检索展望258

11.8本章小结260

附录A中英文对照表261

参考文献265