深度学习是计算机科学的一个重要分支，是一种以人工神经网络为架构，对数据进行表征学习的算法的总称。深度学习是传统机器学习算法的发展和衍生，相关内容涉及代数、统计学、优化理论、矩阵计算等多个领域。《深度学习理论与实践》是深度学习的基础入门级教材，在内容上尽可能覆盖深度学习算法相关基础知识。全书共11章，大致可分为三大部分：第一部分(第1～3章)主要介绍机器学习的基础知识和一些传统算法；第二部分(第4～8章)主要介绍人工神经网络等的相关理论、优化算法和各类经典神经网络模型；第三部分(第9～11章)为进阶知识，主要介绍非监督学习和强化学习的相关算法。 在学习《深度学习理论与实践》的过程中，读者不仅要深入理解相关算法理论，更要多思多练。读者在阅读各章节内容后，可基于各章习题巩固知识，并将理论与实践结合，基于torch、tensorflow等深度学习平台在实际任务中演练所学理论知识和技能。本书可作为高等院校计算机或电子信息相关专业的本科生或研究生教材。

曹文明，男，博士，教授，博士生导师，深圳大学广东省多媒体信息服务工程中心主任，从1991年起分别获得中国科学院系统工程研究所、东南大学自动化所硕士、博士学位，中国科学院半导体所神经网络研究所博士后；主讲深度学习数学模型，人工智能，图像处理，数字信号处理。主要研究方向为多媒体信号处理、图像处理,神经网络。在国内外有影响的期刊和学术会议发表相关论文100余篇，连续12年承担主持完成多项国家级科研项目、省部级项目和深圳市科技计划项目，现在主持1项国家自然科学基金面上项目、1项深圳市科技计划项目。

前 言 自古以来，人类文明的发展始终伴随着对智能化的不懈追求。早期的人类通过总结经验、发现规律来改善工具，提升生产、生活的智能化水平。人类社会进入工业化时代以后，随着科学技术的发展和相关知识的演进，工具的智能化水平得到快速提升。近年来，随着计算机、互联网等的兴起，人类社会步入大数据时代。当前，智能化相关的研究成果呈井喷式爆发。与此同时，新的生活和生产环境又对智能化技术的演进提出了更高的要求。习近平总书记在党的二十大报告中强调，要加强科技基础能力建设，推动战略性新兴产业融合集群发展，构建新一代信息技术、人工智能、生物技术等一批新的增长引擎。 深度学习相关技术逐渐成为目前工业界和学术界探索和研究的重点，并且越来越多的相关算法在实际应用中取得了广泛的成功。这些算法的成功和发展离不开相关研究者对深度学习相关理论的探索。目前的深度学习算法依然存在黑盒属性、需要大量训练样本、可解释性差、调参困难、算法模型规模大、学习时效低等不足，并且和人类本身的学习方式及智能化水平相比，仍有着巨大的发展空间。这些也要求我们深入理解当前深度学习的相关算法理论，针对其特性和缺点不断加以改进提升。 本书的写作目的是将深度学习的相关算法理论和应用实践深入浅出地介绍给读者，力求使大学本科低年级学生能够理解和掌握相关内容。本书一共包含11章。第1章绪论，简要介绍人工智能、机器学习、深度学习的基本概念、发展历程和一些典型的应用实例。第2和第3章，基于回归和基础分类两个基本模型介绍机器学习的基础知识，为后续深度学习相关内容提供知识基础。第4和第5章是深度学习的理论基础章节，阐述人工神经网络基础...