本书集学术前沿、教学成果与应用实践于一体，系统讲述自然语言处理理论与应用。全书分为5篇。基础理论篇包括第1～4章，主要内容为自然语言处理与应用概述、面向自然语言处理的深度学习经典平台与算法、面向自然语言处理的深度学习前沿进展、预训练语言模型；信息处理篇包括第5～9章，主要内容为网络爬虫技术、多格式文档解析与管理、语音文字识别、图像语义表示与字符识别、中文分词与词性标注；语义分析篇包括第10～13章，主要内容为情感分析、新词发现、命名实体识别与关键词提取、知识图谱的大数据自动构建与应用；文本挖掘篇包括第14～18章，主要内容为信息过滤、文本分类、文本聚类、文本校对、自动摘要；应用篇包括第19、20章，主要内容为自然语言处理应用项目和案例。 本书可作为高等学校自然语言处理方向研究生与高年级本科生的专业课教材，也可供自然语言处理方向的科研人员、工程技术人员和爱好者参考。

张华平，男，汉族，北京理工大学副教授，博士，研究生导师，知名汉语分词系统ICTCLAS创始人，北京市海量语言信息处理与云计算工程中心大数据搜索与挖掘实验室主任，中国互联网协会大数据工作委员会（筹）执行主任，中国中文信息学会社会媒体处理专业委员会副秘书长，北京市顺义区政府专家咨询委员会委员，第三届全国社会媒体处理大会程序委员会主席，同时担任辽宁师范大学客座教授，首都师范大学兼职副教授；中国计算机学会青年科技论坛YOCSEF委员，中国计算机学会普及工委委员，国家自然科学基金函评专家，北京市重点产业知识产权联盟专家、同时担任《计算机学报》、《计算机研究与发展》、中国科技论文在线等杂志的特邀评审专家。2005年博士毕业于中科院计算所，研究方向为：大数据搜索与挖掘、自然语言处理、信息检索与信息安全。

前言 自然语言处理是一门融语言学、计算机科学、数学于一体的学科，研究人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理的目标是让机器在理解语言上像人类一样有智能,最终目标是减小人类交流（自然语言）和计算机理解（机器语言）之间的差距。自然语言处理被誉为 “人工智能皇冠上的明珠”。微软全球副总裁、著名人工智能专家沈向洋在中国计算机大会上明确表示: “得语言者得天下。”自然语言处理已经成为人工智能研究的难点与热点，孕育着改变世界未来的机会。魔多情报(Mordor Intelligence)公司的报告显示，2020年全球自然语言处理市场规模为107.20亿美元，预计到2026年将增长至484.60亿美元，平均年复合增长率为26.84%。随着新冠疫情的全球传播，自然语言处理在医疗健康方面的增长尤为迅速。 近年来，自然语言处理领域已经有不少优秀专著或教材面世，但主要介绍自然语言处理的经典算法与相关技术，结合实际系统与应用实践的不多。我从2016年开始在北京理工大学开设研究生选修课“大数据分析与应用”，2022年开始为北京理工大学人工智能专业大三学生开设必修课“大数据处理技术”，尝试将自然语言处理与大数据、人工智能相结合，采用研究型教学方式，给出自然语言处理的经典任务命题，由学生们分组给出综述报告，要求详细介绍自然语言处理各个技术点的经典算法，并反映出近3年国际学术研究的前沿进展，最后给出直观的演示系统并进行实验验证。课程期末考试需要团队协作完成有一定创新性的自然语言处理项目，由校外产学研各界专家进行独立评审。经过6年的不断探索，课程受到了1000多位修课同学的广...