目录

第一篇最优化基础理论

第1章最小二乘法3

1.1最小二乘法的原理3

1.2最小二乘法的应用6

1.2.1多项式拟合7

1.2.2非线性函数拟合11

1.3最小二乘法在灰色预测参数估计中的应用17

习题21

实验1Python代码实现非线性曲线逼近的参数估计21

第2章优化问题的迭代解法25

2.1优化问题概述25

2.1.1优化问题的最优解及最优值25

2.1.2凸函数及凸规划25

2.1.3优化问题的迭代法求解26

2.1.4优化问题的一维搜索迭代法求解27

2.2优化问题的梯度下降迭代法求解27

2.2.1梯度下降法27

2.2.2实例+Python代码28

2.3优化问题的牛顿迭代法求解32

2.3.1牛顿迭代法32

2.3.2实例+Python代码33

2.4优化问题的拟牛顿法求解36

2.4.1拟牛顿法36

2.4.2实例+Python代码37

2.4.3优化问题的直接迭代法求解39

2.5约束优化的迭代法42

2.5.1单纯形法42

2.5.2罚函数法48

习题52

实验2Python代码实现迭代法求解优化问题52

第二篇人工神经网络

第3章BP神经网络59

3.1感知器模型60

3.1.1单感知器模型60

3.1.2感知器的激活函数类型61

3.2单感知器用于解决简单分类问题64

3.2.1线性可分64

3.2.2单感知器解决线性可分问题64

3.3单层前向神经网络67

3.3.1单层前向神经网络的数学模型67

3.3.2单层前向神经网络的误差函数67

3.3.3线性单层前向神经网络的优化计算68

3.4双层前向神经网络68

3.5BP神经网络解决预测问题69

3.6BP神经网络解决分类问题79

习题95

实验3Python代码实现两个隐藏层的BP神经网络鸢尾花分类95

第4章卷积神经网络101

4.1卷积神经网络的结构102

4.1.1卷积102

4.1.2池化104

4.2卷积神经网络的参数配置105

4.2.1网络相关的超参数105

4.2.2卷积层相关参数105

4.2.3池化层相关参数107

习题114

实验4Python代码实现AlexNet架构分类114

第三篇群智能算法

第5章粒子群算法125

5.1粒子群算法的原理126

5.2粒子群算法的优缺点及程序设计127

5.2.1粒子群算法的优点及缺点127

5.2.2粒子群算法的程序设计127

5.2.3粒子群算法的参数选取127

5.3粒子群算法实例128

习题146

实验5Python代码实现粒子群算法求解优化问题146

第6章遗传算法160

6.1遗传算法的原理160

6.1.1生物进化理论和遗传算法的知识160

6.1.2遗传算法的基本思想161

6.1.3遗传算法的特点及基本操作161

6.2基本遗传算法162

6.3简单函数优化的基本遗传算法实现165

6.3.1简单函数优化问题165

6.3.2简单遗传算法的深入讨论172

习题191

实验6Python代码实现遗传算法求解多元约束优化问题191

第7章蚁群算法197

7.1蚁群算法的原理197

7.2蚁群算法的流程198

7.3实例+Python代码199

习题203

实验7Python代码实现群智能算法解决旅行商问题203

第四篇模糊集与模糊逻辑

第8章模糊集及其应用219

8.1模糊集及运算219

8.1.1模糊集的定义及运算219

8.1.2隶属度函数的确定方法222

8.2模糊关系及模糊矩阵224

8.2.1模糊关系的基本概念224

8.2.2模糊矩阵的运算及其性质225

8.3模糊聚类227

8.3.1Kmeans聚类227

8.3.2模糊Kmeans聚类228

8.3.3模糊Kmeans聚类实例229

习题232

第9章模糊逻辑及其应用233

9.1语言学变量和模糊规则233

9.2模糊逻辑234

9.3模糊推理234

9.4基于置信度的推理235

9.5模糊推理系统237

9.6模糊控制理论240

9.7模糊神经网络241

习题247

实验8Python代码实现模糊控制问题248

参考文献254