前言

近年来, 随着人工智能技术的飞速发展, 优化方法的重要性愈发凸显. 优

化理论作为数学、计算机科学以及工程学等领域的重要分支, 不仅是深度学

习、机器学习等人工智能技术的核心支撑, 还在资源分配、物流和生产调度、

金融分析等实际应用中扮演着不可或缺的角色. 得益于算法理论的进步、计

算能力的提升以及应用需求的增长, 最优化研究逐渐成为推动科技与工业发

展的重要驱动力. 然而, 最优化问题的复杂性和多样性也对研究者提出更高

的要求.

本书旨在为读者提供系统、全面的最优化理论与应用的入门与进阶指

南, 帮助读者掌握基本概念、关键算法以及实际建模方法. 本书主要有以

下两个特点.

（1）本书结合人工智能专业的特点, 突出机器学习中的典型最优化问

题和优化建模, 将其作为例题分散于各章节中, 例如线性模型、主成分分

析和支持向量机等内容, 这些例题不仅用于理论练习, 也为算法应用提供

了丰富案例.

（2）本书以向量和矩阵为基本运算对象, 以矩阵运算和特征向量问题

作为主线贯穿全书, 帮助读者深化对模型和优化理论的理解. 通过这些内

容, 读者可熟练掌握矩阵运算, 提升数学成熟度, 为后续复杂模型(如深度

学习) 的学习奠定基础.

本书共8 章, 各章节内容逐步递进, 以适应不同读者的学习需求：第1

章概述最优化的核心思想与模型框架; 第2 章回顾线性代数与多元微积分

的基础知识, 为后续内容打下数学基础; 第3 章介绍凸集与凸函数的理论,

重点讨论其判定方法与应用; 第4 章阐述最优性条件, 分析无约束与约束优

化问题中解的存在性和唯一性; 第5 章通过线性模型、主成分分析和支持

向量机等实际案例, 探讨优化建模的具体方法; 第6 章深入剖析无约束优化

算法, 包括梯度类方法、牛顿法与信赖域方法等; 第7 章讨论约束优化的解

决方案, 如罚函数法与增广拉格朗日函数法; 第8 章聚焦机器学习需求, 讲

解随机优化等现代优化技术在人工智能中的应用. 书中在每章开头和结尾

分别给出了章节主要内容和习题, 帮助读者合理规划学习进度, 并在学习

后巩固核心知识点.

本书的编写得到了南京航空航天大学和太原理工大学的大力支持, 并

最优化模型与方法

获得国家自然科学基金优秀青年科学基金项目(T2322012) 资助. 感谢我的导师香港城

市大学张青富教授长期以来的指导和支持; 感谢同事在理论研究和实际应用中的指导与

帮助; 感谢清华大学出版社的编辑团队提供出版机会; 特别感谢在书稿写作过程中提出

建议和修改意见的读者朋友们. 由于编著者能力有限, 书中难免有不足之处, 恳请读者

批评指正. 希望本书能够为学习和研究最优化理论的读者提供帮助, 同时也为最优化技术

在实际问题中的应用贡献一份力量.

编者

2025 年10 月