"本书旨在介绍常见的非线性**化的理论与算法，以及深度学习中的优化算法。全书侧重对优化原理的直观理解和优化算法的步骤设计和流程构建，并通过大量案例对所介绍的算法进行了编程实现。书中提供的大量编程代码可以为需要使用非线性**化解决实际问题的工程技术人员进行二次开发提供基础，也可以为致力于学习**化理论与算法的读者进行编程练手提供参考。 除第1章介绍的基础知识外，全书内容可以分为4部分。第一部分介绍一维搜索理论与算法，第二部分介绍无约束**化理论与算法，第三部分介绍约束**化理论与算法，第四部分介绍的深度学习中的优化算法。本书可以作为理工科大学相关专业研究生的学位课教材，也可以作为数据科学、人工智能、机器学习相关专业高年级本科生的选修课教材，还可以作为相关领域学术研究人员、工程技术人员的参考资料。 "

"龙强，博士，副教授，硕士生导师；就职于西南科技大学数理学院数据科学系，中国运筹学会终生会员；主要从事**化理论与算法、机器学习算法研究；在国际国内学术期刊上发表论文20余篇，获批国家发明专利3项，主持和参与国家自然科学基金4项，参与国家社会科学基金1项，出版图书《深度强化学习理论与算法》，讲授“深度强化学习”“算法设计与分析”“**化理论与算法”“线性代数与矩阵分析”等课程。赵克全 博士，教授，博士生导师，就职于重庆师范大学数学科学学院，中国运筹学会理事、中国系统工程学会理事、中国运筹学会数学规划分会常务理事、中国运筹学会科普工作委员会副主任，重庆市运筹学学会秘书长。主要从事**化理论与方法、电力系统运行可靠性的数学模型与优化算法研究。主持国家重点研发计划项目、国家自然科学基金面上项目等国家级项目6项，主持重庆市高校创新研究群体、重庆英才计划创新领军人才等省部级项目11项。讲授“数学分析”“运筹学”“泛函分析”“**化基础”等课程。"

前言 最优化是运筹学与控制论二级学科下的一个重要研究方向，它研究如何在众多可行方案中找到满足约束条件的最优方案，并计算最优方案所需要的成本或收益。本书主要介绍目标函数和约束函数均为连续函数的非线性最优化问题，这类问题在学术研究和实际应用中普遍存在，学习和研究它具有重要的理论意义和应用价值。 本书主要内容包括四部分。第一部分介绍一维搜索理论与算法，包括第1章和第2章，主要内容有试探法、函数逼近法和非精确线搜索法。一维搜索算法是所有其他搜索算法的基础。第二部分介绍无约束最优化理论与算法，包括第3章和第4章，主要内容有无约束最优性条件、基于梯度的下降方法和基于函数值估计的直接法。无约束最优化是后续约束最优化的基础。第三部分介绍约束最优化理论与算法，包括第5~8章，主要内容有无约束最优性条件、可行方向法、罚函数法和二次规划。第四部分介绍深度学习中的优化算法，包括第9章，深度学习中的优化方法是最优化在近年来的重要新发展方向，对深度学习的发展有重要的促进作用。 非线性最优化是我从硕士到博士，再到参加工作以来一直都在研究的一个领域。在研究生期间，虽然研究得非常深入，但其内容仅仅局限于所从事的研究课题，并未从整体上对最优化理论与算法进行非常深入的学习。参加工作以后，由于开设课程的需要，我开始全面学习非线性最优化。我惊讶地发现，非线性最优化是如此博大精深，以至于就算穷尽毕生精力也不一定能窥得其全貌，更别说完全掌握了。最优化理论与算法无论是对非专业学生还是对专业学生都有相当难度，主要原因有二，一是它用到了大量综合性较强的数学知识，二是算法设计和编程实现对逻辑思维和动手能力...