深度神经网络是近年来受到广泛关注的研究方向，它已成为人工智能2.0的主要组成部分。本书系统地论述了深度神经网络基本理论、算法及应用。全书共十六章，分为两个部分；第一部分（第一章到第十章）系统论述了理论及算法，包括深度前馈神经网络、深度卷积神经网络、深度堆栈神经网络、深度递归神经网络、深度生成网络、深度融合网络等；第二部分（第十一章到第十五章）论述了常用的深度学习平台，以及在高光谱图像、自然图像、SAR与极化SAR影像等领域的应用；第十六章为总结与展望，给出了深度学习发展的历史图、前沿方及最新进展。每章都附有相关阅读材料及仿真代码，以便有兴趣的读者进一步钻研探索。 本书可为高等院校计算机科学、电子科学与技术、信息科学、控制科学与工程、人工智能等领域的研究人员提供参考，以及作为相关专业本科生及研究生教学参考书，同时可供深度学习及其应用感兴趣的研究人员和工程技术人员参考。

焦李成，男，汉族，1959年10月生，1992年起任西安电子科技大学教授。现任智能感知与计算国际联合研究中心主任、智能感知与图像理解教育部重点实验室主任、智能感知与计算国际合作联合实验室主任、“智能信息处理科学与技术”高等学校学科创新引智基地（“111计划”）主任、教育部科技委国际合作部学部委员、中国人工智能学会副理事长、IET西安分会主席、IEEE西安分会奖励委员会主席、IEEE计算智能协会西安分会主席、IEEE GRSS西安分会主席，IEEE TGRS副主编、教育部创新团队首席专家。国务院学位委员会学科评议组成员、教育部本科教学水平评估专家。1991年被批准为享受国务院政府津贴的专家，1996年首批入选国家“百千万”人才工程（第一、二层次）。当选为全国模范教师、陕西省师德标兵和曾任第八届全国人大代表。 焦李成教授的主要研究方向为智能感知与计算、图像理解与目标识别、深度学习与类脑计算，培养的十余名博士获全国优秀博士学位论文奖、提名奖及陕西省优秀博士论文奖。研究成果获包括国家自然科学奖二等奖及省部级一等奖以上科技奖励十余项，出版学术专著十余部，五次获国家优秀科技图书奖励及全国首届三个一百优秀图书奖。所发表的论著被他人引用超过25000余篇次，H指数为65。

序 从1308年加泰罗尼亚诗人、神学家雷蒙·卢尔(Ramon Llull)发表了有关用机械方法从一系列现象中创造新知识的论文开始，到1943年美国心理学家W.S. McCulloch和数学家W.Pitts提出MP模型及1950年A.Turing提出著名的图灵测试，再到1956年达特茅斯会议上人工智能的诞生，神经网络几经沉浮，走过了艰难曲折的历程； 2006年从单隐层神经网络到深度神经网络模型，迎来了神经网络发展的又一高潮，深度学习及其应用受到了前所未有的重视与关注，世界迎来又一轮人工智能变革的高潮，从谷歌脑到中国脑科学计划，再到互联网+和中国人工智能2.0，人工智能及深度学习也首次写进了2017年全国人民代表大会第十五次会议国务院政府工作报告。深度学习是人工智能及机器学习的一个重要方向，在未来，它将会不断出现激动人心的理论进展和方法实践，深刻影响我们生活的方方面面。 随着研究的不断深入，深度学习已经超越了目前机器学习模型的神经科学观点，学习多层次组合的这一设计原则更加吸引人。从第一代的深度前馈神经网络开始，随之而来的就有如下三个问题： 一是可用训练数据量远小于模型中的参数量，容易出现过(欠)拟合现象； 二是随着层级的增加，模型的优化目标函数呈现高度非凸性，由于待优化参数所在的可行域中存在着大量的鞍点和局部极小值点，所以参数初始化策略影响着网络模型的稳定性和收敛性； 三是基于误差的反向传播算法越靠近输出层变化越大，越靠近输入层变化越小，这对通过梯度下降方式来实现逐层参数更新会导致梯度弥散现象。为了解决第一个问题便提出了深度卷积神经网络和深度循环神经网络，其核心均是通过...