本书系统阐述自然语言处理基础知识，以及自然语言处理高级模型应用等高级知识。 全书共11章：第1~5章为自然语言处理的基础知识，第6~11章则将自然语言处理知识应用于实战。书中主要内容包括预训练模型、文本分类、机器阅读理解、命名实体识别、文本生成、模型蒸馏与剪枝及损失函数等知识。 书中包含大量应用示例，不仅可以学会理论知识还可以灵活应用。书中示例基于Linux与PyTorch环境开发，读者在学习自然语言处理知识的同时还可学会PyTorch框架技术，内容完整、步骤清晰，提供了工程化的解决方案。 本书可作为有一定深度学习基础的读者的入门书，也可作为从事自然语言处理算法工作的技术人员及培训机构的参考书。

"王志立，自然语言处理工程师，曾在国际与国内的学术会议上发表学术论文多篇，先后在腾讯等多家知名企业从事大数据与人工智能算法工作，运营和分享人工智能相关知识，曾获得多项人工智能比赛国家级奖项。雷鹏斌，深圳大学硕士，华为AI算法工程师，主要从事chatops、知识图谱的研究与应用工作，对自然语言处理各项任务的研究与应用具有经验丰富。2019—2021年在国内知名竞赛的文本分类、命名实体识别、机器阅读理解、智能问答，以及文本生成任务中摘获大量荣誉。曾参与多项课题研究，在AAAI、中文信息学报等高影响力会议上发表多篇文章。吴宇凡，腾讯算法应用研究员，长期从事业务安全和金融量化相关算法研究和实践，已发表国际**会议论文多篇，申请专利数篇。"

前言 笔者在这短短一年多的时间里经历了人生中很多大事，在编写本书的同时，人工智能自然语言处理领域的发展也经历了很多大事件，有预测蛋白质结构的alphafold模型、有1750亿参数量的超大无比GPT3屠榜自然语言处理各个任务的榜单，也有实现增量推理与分布式推理的盘古预训练模型。总体来讲，自2018年底谷歌公司发布BERT预训练模型后，自然语言处理领域呈现井喷式发展，但是，无论当前自然语言处理模型如何发展，其仍旧基于深度神经网络，无非是网络的结构、神经元的数目及使用的硬件资源不同罢了。 信息时代的来临，人类从信息匮乏的年代走向信息爆炸的年代，现在的学习资料多如牛毛，但量大并不代表质优，因此，如何将杂乱无章的知识点整理成高效可拓展的知识路线，是笔者在编写本书时无时无刻不在思考的问题。本书从一个人工智能算法工程师的角度并依据笔者多个国家级竞赛的获奖经验编写，目的是让每个读者都能够从流程化的算法中掌握一条符合自己的学习路线。 因此，本书将搭建一个自然语言处理的学习框架，以帮助读者用最低的学习成本掌握自然语言处理任务。这不仅可以帮助读者构建属于自己的自然语言处理知识宇宙，同时也方便读者可以基于自己的知识体系进行二次拓展，加深对自然语言处理的理解。本书的内容涉及自然语言处理领域的算法流程、无监督学习、预训练模型、文本分类、智能问答、命名实体识别、文本生成、模型的蒸馏与剪枝等。 本书是笔者在清华大学出版社出版的第二本书。不得不说，完成一本书的过程非常艰辛但十分有意义，笔者将其当成另一种形式的创业，也是对自己思考方式另一个维度的锤炼，同时也是向这个...