前言

我国科技部等五部门联合印发的《加强“从0到1”基础研究工作方案》 指出，新一轮科技革命和产业变革正蓬勃兴起，可望催生新的重大科学思想和科学理论，产生颠覆性技术。加强“从0到1”的基础研究，开辟新领域、提出新理论、发展新方法，取得重大开创性的原始创新成果，是国际科技竞争的制高点。

人工智能技术作为新一轮科技革命和产业变革的核心力量，是新时期我国创新发展、建设世界科技强国不可或缺的关键技术。目前，深度学习理论的快速进展有力地推动了下一代人工智能技术的研究与应用。本书聚焦深度学习算法的基础理论和核心算法，希望较为全面系统地论述深度学习的基础理论，为我国建立新一代人工智能基础理论和关键共性技术体系贡献绵薄之力，为实现“从0到1”提供理论支撑。

本书内容的组织和安排，更多的是基于作者的学习与理解。本书内容的取舍主要在于以下两点； 理论方面，兼顾人工智能数学基础知识与领域最新原创基础理论，构建脉络清晰的人工智能理论体系，为推动下一代人工智能、下一代深度学习的发展提供坚实的理论支撑； 核心技术方面，聚焦领域前沿，力争抽取出最关键、最普适的技术思想，提炼出简洁、可复用的知识模型，为发展更有力的新方法提供“源头活水”。

本书第1章首先介绍了深度学习的相关数学基础，主要包括线性代数、概率论、信息论三部分。紧接着系统地论述了深度学习的基础理论，主要包括五方面，即深度学习的逼近理论（第2~5章）、深度学习的表征理论（第6~9章）、深度学习的学习理论（第10~15章）、深度学习的优化理论（第16~19章）、深度学习的核心算法（第20~28章）。

第一部分，深度学习的逼近理论，包括第2~5章的内容。第2章介绍深度神经网络的逼近基础理论； 第3章论述深度神经网络的函数逼近； 第4章论述深度神经网络的复杂函数逼近理论，包括仿射系统的神经网络逼近、振荡纹理的多项式逼近和指数级逼近、Weierstrass函数的指数级逼近； 第5章论述深度神经网络与多尺度几何逼近系统，从傅里叶变换到多尺度几何变换，系统介绍了多尺度几何逼近的理论基础。

第二部分，深度学习的表征理论，包括第6~9章的内容。第6章论述深度特征网络的构造理论； 第7章论述学习表征编码器的构造理论； 第8章论述多尺度几何深度网络，包括小波神经网络、多小波网、散射网、CCNN等； 第9章讨论复数深度学习网络。

第三部分，深度学习的学习理论，包括第10~15章的内容。第10章论述拟合问题； 第11章论述正则化理论； 第12章论述泛化理论； 第13章论述学习可解释性； 第14章论述收敛性理论； 第15章主要讨论模型的复杂度。

第四部分，深度学习的优化理论，包括第16~19章的内容。第16章介绍深度学习算法优化中的一阶优化方法； 第17章介绍高阶优化方法； 第18章介绍启发式学习优化； 第19章介绍进化深度学习。

第五部分，深度学习的核心算法，包括第20~28章的内容。第20章论述深度学习算法中的离散优化； 第21章论述深度学习算法中非凸优化方法； 第22章论述非负矩阵深度学习分解； 第23章论述稀疏张量深度学习分解； 第24章论述线性方程组的深度学习求解； 第25章论述微分方程的深度学习求解； 第26章论述深度学习分类； 第27章论述深度学习聚类； 第28章论述深度学习回归。

本书的完成，离不开团队的努力和各位专家、老师的大力支持，同时也特别感谢团队博士生张若浛、赵嘉璇、王丹、董惠惠、张俊、杨育婷、高捷、陈洁、马梦茹、何佩、宋雪、游超、黄钟键、王锐楠等的辛苦付出。

本书相关研究工作得到了国家自然科学基金创新研究群体基金（61621005），国家自然科学基金重点项目（61836009），国家自然科学基金重大研究计划（91438201、91438103、91838303），国防科技173计划项目，国家自然科学基金（U1701267、62076192、61871310、61902298、61573267、61906150），教育部规划项目，教育部111引智计划（B07048），教育部长江学者创新研究团队计划（IRT 15R53），陕西省创新团队 （2020TD017），陕西省重点研发计划（2019ZDLGY0306）等项目的支持，清华大学出版社对本书的出版给予了大力支持，在此一并致谢。

最后，感谢国内外同行的关怀、帮助与指导。希望本书能为人工智能基础理论研究及其应用做一点基础性工作。由于作者水平所限及这一领域的快速发展，书中难免有不足之处,欢迎大家批评指正。

编著者

2023年6月