知识就是力量。
||[英]弗兰西斯￠ 培根
知识能够丰富人的思想，能够让人更聪明。我们通过思考，获得知识就能解决我们
从前所不知道的很多问题。这时，知识就是一种力量。而人工智能想要让计算机像人一
样思考，同样需要知识的力量。计算机实现人工智能需要哪些知识，这些知识又要如何
表示，如何获取，如何计算，以及如何使用，都是人工智能的重要研究课题。
近年来，深度学习技术大放异彩，极大地提升了自然语言处理、计算机视觉等人工
智能任务的性能。我们应当辩证地看待深度学习技术的历史地位。一方面，它充分利用
人工神经网络的分布式表示能力和层次结构泛化能力，从大规模训练数据中自动学习，
显著提升了对无结构文本、图像、语音数据背后语义信息的表示与学习性能，将数据驱
动方法推向新的高度；另一方面，我们也认识到，深度学习从大规模数据中自动学习任
务模式和语义信息，既受到大数据长尾分布的制约，也无法真正理解这些模式与语义，
缺少可解释性；近年来的研究也表明，深度学习技术无法有效应对有针对性的攻击样例，
鲁棒性差。
数据与知识，是实现人工智能的两大基石。对大规模数据的学习与利用，离不开深
度学习技术。但要实现有理解能力的人工智能，还需要各类知识的支持。最终，我们需要
探索出一条能够同时充分利用数据与知识的方案，才能实现有理解能力的人工智能，具
有较好的鲁棒性和可解释性。我们姑且将面向人工智能的知识计算研究称为知识智能，
涵盖知识表示、获取、计算和推理应用等研究课题。其中，知识表示旨在探索如何对不
同类型知识进行组织和表示，支持计算机最大化地利用这些知识；知识获取旨在探索如
何从互联网大规模的结构化、半结构、无结构数据中自动获取我们需要的知识；知识计
算和推理则旨在探索如何更好地利用大规模知识库进行各类知识计算与推理应用，支持
人工智能实现从数据智能到知识智能的跃迁。
我所在的清华大学自然语言处理与社会人文计算实验室（THUNLP），在学术带头
人孙茂松教授的带领下，主要从事自然语言处理、知识图谱、机器翻译和社会计算研
ii j 知识图谱与深度学习
究。2014 年，孙茂松教授作为首席科学家牵头组织了题为“面向三元空间的互联网中
文信息处理理论与方法”的国家重点基础研究发展计划（\973" 计划）项目。在2013 年
申请项目时，深度学习初露锋芒但尚未成席卷之势，孙茂松教授带领的项目团队经过多
次研讨认为，深度学习技术将对自然语言处理带来颠覆性变化，并意识到知识对自然语
言理解的重要价值。经过2014|2018 年的5 年探索，项目组在国内率先开展并坚持探索
了面向自然语言处理的深度学习技术，系统研究了面向自然语言理解的知识获取与应用
技术，取得了一系列原创成果。其中，孙茂松教授带领团队主要负责项目的基础理论研
究，提出了融合知识的统一语义表示框架，以及知识指导的自然语言处理框架等学术思
想，相关发表论文、开源项目、演示系统获得了国内外的广泛关注。
为了更好地向国内读者介绍在知识智能方面取得的最新进展，我们整理出版了这部
中文专著。“知识图谱”本是谷歌的一款支持搜索引擎的世界知识产品，就像“大数据”
一样，由于名字贴切上口，近年来在学术界和产业界被广泛用来指代各类知识库，本书
也择善而从，用知识图谱来泛指我们研究的语言知识和世界知识等各类知识库。本书主
要涉猎语言知识和世界知识两种类型知识，内容包括面向这两类知识在表示学习、自动
获取与计算应用方面的最新尝试。
本书主要内容是我们在知识智能方面的最新研究成果，而非对知识图谱和深度学习
技术的科普介绍，因此更适合具备自然语言处理和知识图谱基础知识的相关研究生和学
者，以及具有类似背景的对人工智能和知识图谱感兴趣的人士。为了方便读者阅读，本
书在绪论中介绍了关于自然语言处理、知识图谱和深度学习等比较全面的背景。如果读
者希望更全面了解知识图谱基础知识，建议阅读中国科学院自动化研究所赵军老师团队
2018 年出版的《知识图谱》，它是全面了解和学习该领域的理想教材。如果读者希望更
全面了解深度学习基础知识，建议阅读Ian Goodfellow、Yoshua Bengio、Aaron Courville
等学者2016 年出版的Deep Learning，它是全面了解和学习该领域的理想教材，国内已有
翻译版。
本书由孙茂松教授指导，由刘知远具体组织撰写，课题组的博士生韩旭、岂凡超和
本科生于志竟成、杨承昊等担任了主要撰写与校对工作。本书参考了实验室涂存超、林
衍凯、谢若冰等几位博士研究生和硕士研究生的学位论文。课题组的于鹏飞（3.4 节）、王
晓智（3.6 节）、朱昊（4.3 节）、刘正皓（4.4 节）、刘阳光（6.3 节）、辛极（4.2 节）、张磊
（6.4 节、7.3 节）、陈暐泽（7.2 节、7.3 节）、欧阳思聪（7.2 节、7.3 节）、秦禹嘉（6.3 节）、
高天宇（3.2 节）、黄励新（3.3 节）、黄俊杰（5.3 节、6.5 节）、曹书林（3.5 节）、常亮（6.4
前言j iii
节、6.5 节）、彭皓（3.7 节）、臧原（5.3 节、6.3 节、6.5 节）等同学参与了本书的素材准备
工作（按姓氏笔画排列，括号内为有贡献的章节号）。
刘知远
2020 年3 月于清华大学FIT 楼