序 从1308年加泰罗尼亚诗人、神学家雷蒙·卢尔(Ramon Llull)发表了有关用机械方法从一系列现象中创造新知识的论文开始，到1943年美国心理学家W.S. McCulloch和数学家W.Pitts提出MP模型及1950年A.Turing提出著名的图灵测试，再到1956年达特茅斯会议上人工智能的诞生，神经网络几经沉浮，走过了艰难曲折的历程； 2006年从单隐层神经网络到深度神经网络模型，迎来了神经网络发展的又一高潮，深度学习及其应用受到了前所未有的重视与关注，世界迎来又一轮人工智能变革的高潮，从谷歌脑到中国脑科学计划，再到互联网+和中国人工智能2.0，人工智能及深度学习也首次写进了2017年全国人民代表大会第十五次会议国务院政府工作报告。深度学习是人工智能及机器学习的一个重要方向，在未来，它将会不断出现激动人心的理论进展和方法实践，深刻影响我们生活的方方面面。 随着研究的不断深入，深度学习已经超越了目前机器学习模型的神经科学观点，学习多层次组合的这一设计原则更加吸引人。从第一代的深度前馈神经网络开始，随之而来的就有如下三个问题： 一是可用训练数据量远小于模型中的参数量，容易出现过(欠)拟合现象； 二是随着层级的增加，模型的优化目标函数呈现高度非凸性，由于待优化参数所在的可行域中存在着大量的鞍点和局部极小值点，所以参数初始化策略影响着网络模型的稳定性和收敛性； 三是基于误差的反向传播算法越靠近输出层变化越大，越靠近输入层变化越小，这对通过梯度下降方式来实现逐层参数更新会导致梯度弥散现象。为了解决第一个问题便提出了深度卷积神经网络和深度循环神经网络，其核心均是通过约减参数量间接提升数据量的方式降低过拟合现象的发生； 针对第二个问题和第三个问题便引入了基于自编码器的逐层初始化策略，以期获取的初始化参数能够避免过早地陷入局部最优，同时弱化或克服梯度弥散现象，例如基于受限波尔兹曼机的深度置信网络。进一步，基于传统的机器学习算法来实现参数初始化方向上涌现了如深度PCA网络、深度ICA网络、深度SVM网络、深度森林(随机森林多层级联)、深度极限学习机和深度ADMM网络等模型。同时与之类似的，通过更改非线性函数以换取模型“扭曲”能力的提升，产生了如深度小波网络、深度脊波网络和深度轮廓波网络等模型。根据其特性，我们称这些网络为深度融合网络。2014年以来，大量的研究文献表明层级“深度”的不断增加，或导致性能显著提升(如深度残差网络、深度分形网络)，抑或导致性能严重下降(本质上是参数量远大于训练数据量)。为了解决该问题，一方面通过多通路、并行化的网络设计来削弱“深度”对性能的依赖性，同时塔式结构、对称性等也被融入网络的设计过程中； 另一方面，深度生成模型也悄然兴起，其核心是通过生成训练数据集的概率密度函数来实现数据的扩充，其代表便是生成式对抗网络和变分自编码器。值得注意的是，与传统的深度学习设计“单网络”不同，生成式对抗网络采用了“两个子网络”来实现非合作状态下的博弈，在最小最大值定理的保证下，理论上可以保证网络的收敛性。除了模型结构和优化策略改进外，应用问题背景也不再是经典的输入输出“单数据对”刻画，而是从状态到行动“整体性”刻画。众所周知，感知、认知和决策是衡量智能化的标准，充分发挥深度学习的感知能力和强化学习的决策能力，形成的深度强化学习已在众多应用问题上取得突破，如无人驾驶、计算机围棋程序和智能机器人等。在后深度学习时代，其核心在于生成数据、环境交互和领域迁移，对应着深度生成网络、深度强化学习和深度迁移学习将继续成为人工智能领域的研究热点。另外，根据数据的属性和操作的有效性，衍生的网络包括深度复数域神经网络(如深度复卷积神经网络)、深度二值神经网络和深度脉冲神经网络等。 我们依托智能感知与图像理解教育部重点实验室、智能感知与计算国际联合实验室及智能感知与计算国际联合研究中心于2014年成立了类脑计算与深度学习研究中心，致力于类脑计算与深度学习的基础与应用研究，搭建了多个深度学习应用平台，并在深度学习理论、应用及实现等方面取得了突破性的进展，本书即是我们在该领域研究工作的初步总结。 本书的完成离不开团队多位老师和研究生的支持与帮助，感谢团队中侯彪、刘静、公茂果、王爽、张向荣、吴建设、缑水平、尚荣华、刘波、刘若辰等教授以及马晶晶、马文萍、白静、朱虎明、田小林、张小华、曹向海等副教授对本工作的关心支持与辛勤付出。感谢王蓉芳博士、冯捷博士、张丹老师，以及唐旭、刘芳、谢雯、任博、魏野、王善峰、冯志玺等博士生在学术交流过程中无私的付出与生活上的关心。同时，特别感谢赵佳琦、刘旭、赵暐、朱浩、孙其功、任仲乐、李娟飞、张雅科、宋玮、张文华等博士生，以及马丽媛、杨争艳、张婷、李晰、孟繁荣、汶茂宁、侯瑶琪、孙莹莹、张佳琪、杨慧、王美玲等研究生在写作过程中无私付出的辛勤劳动与努力。感谢宋玮、张文华等博士生帮忙校勘时发现了许多笔误。 本书是我们团队在该领域工作的一个小结，也汇聚了西安电子科技大学智能感知与图像理解教育部重点实验室、智能感知与计算国际联合实验室及智能感知与计算国际联合研究中心的集体智慧。在本书出版之际，特别感谢邱关源先生及保铮院士三十多年来的悉心培养与教导，特别感谢徐宗本院士、张钹院士、李衍达院士、郭爱克院士、郑南宁院士、谭铁牛院士、马远良院士、包为民院士、郝跃院士、陈国良院士、韩崇昭教授，IEEE Fellows管晓宏教授、张青富教授、张军教授、姚新教授、刘德荣教授、金耀初教授、周志华教授、李学龙教授、吴枫教授、田捷教授、屈嵘教授、李军教授和张艳宁教授，以及马西奎教授、潘泉教授、高新波教授、石光明教授、李小平教授、陈莉教授、王磊教授等多年来的关怀、帮助与指导，感谢教育部创新团队和国家“111”创新引智基地的支持； 同时，我们的工作也得到西安电子科技大学领导及国家“973”计划(2013CB329402)、国家自然科学基金(61573267，61472306，61671305，61573267，61473215，61571342，61572383，61501353，61502369，61271302，61272282，61202176)、重大专项计划(91438201，91438103)等科研任务的支持，特此感谢。同时特别感谢清华大学出版社的大力支持和帮助，感谢王芳老师和薛阳老师 付出的辛勤劳动与努力。感谢书中所有被引用文献的作者。 20世纪90年代初我们出版了《神经网络系统理论》《神经网络计算》《神经网络的应用与实现》等系列专著，三十年来神经网络取得了长足的进展，本书的取材和安排完全是作者的偏好，由于水平有限，书中不妥之处恳请广大读者批评指正。 著者 2017年3月 西安电子科技大学

• 暂无课件
• 样章下载
• 暂无网络资源

扫描二维码
下载APP了解更多

版权图片链接