目录
第 1章动态规划算法 ...................................................................................................... 1
1.1概述.................................................................................................................... 1
1.2基本问题 ............................................................................................................. 8
1.3算法...................................................................................................................12
1.4状态增广和其他重新建模.....................................................................................24
1.5一些数学问题 .....................................................................................................29
1.6动态规划和极小化极大控制 .................................................................................32
1.7注释、参考文献和习题 ........................................................................................35
第 2章确定性系统和最短路径问题 .................................................................................44
2.1有限状态系统和最短路径.....................................................................................44
2.2一些最短路径的应用 ...........................................................................................47
2.2.1关键路径分析 ...........................................................................................47
2.2.2隐马尔可夫模型和瓦特比算法....................................................................48
2.3最短路径算法 .....................................................................................................53
2.3.1标签纠正方法 ...........................................................................................55
2.3.2标签纠正变形-A＊算法 ..............................................................................60
2.3.3分支定界..................................................................................................61
2.3.4约束与多目标问题 ....................................................................................63
2.4注释、参考文献和习题 ........................................................................................67
第 3章确定性连续时间最优控制 ....................................................................................72
3.1连续时间最优控制...............................................................................................72
3.2哈密尔顿-雅可比-贝尔曼方程 ...............................................................................74
3.3庞特里亚金最小值原理 ........................................................................................79
3.3.1使用 HJB方程的非正式推导 .....................................................................79
3.3.2一种基于变分思想的推导 ..........................................................................86
3.3.3离散时间问题的最小值原理 .......................................................................89
3.4最小值原理推广 ..................................................................................................90
3.4.1固定的末端状态........................................................................................91
3.4.2自由初始状态 ...........................................................................................93
3.4.3自由终止时间 ...........................................................................................94
3.4.4时变系统与费用........................................................................................97
动态规划与最优控制——近似动态规划 (第 I卷)
3.4.5奇异问题..................................................................................................97
3.5注释、参考文献和习题 ........................................................................................99
第 4章具有精确状态信息的问题 .................................................................................. 103
4.1线性系统和二次型费用 ...................................................................................... 103
4.2库存控制 .......................................................................................................... 112
4.3动态资本分析 ................................................................................................... 119
4.4最优停止问题 ................................................................................................... 122
4.5调度与交换的理由............................................................................................. 130
4.6不确定性的集合隶属度描述 ............................................................................... 133
4.6.1集合隶属度估计...................................................................................... 133
4.6.2具有未知且有界扰动的控制 ..................................................................... 138
4.7注释、参考文献和习题 ...................................................................................... 140
第 5章不精确状态信息的问题...................................................................................... 152
5.1化简为精确信息的情形 ...................................................................................... 152
5.2线性系统和二次型费用 ...................................................................................... 160
5.3线性系统的最小方差控制................................................................................... 165
5.4充分统计量....................................................................................................... 176
5.4.1条件状态分布 ......................................................................................... 177
5.4.2有限状态系统 ......................................................................................... 180
5.5注释、参考文献和习题 ...................................................................................... 190
第 6章近似动态规划 ................................................................................................... 198
6.1确定性等价和自适应控制................................................................................... 199
6.1.1谨慎、探测和对偶控制............................................................................ 203
6.1.2两阶段控制和识别能力............................................................................ 204
6.1.3确定性等价控制和可辨识性 ..................................................................... 205
6.1.4自调节调节器 ......................................................................................... 209
6.2开环反馈控制 ................................................................................................... 210
6.3有限前瞻策略 ................................................................................................... 213
6.3.1有限前瞻策略的性能界............................................................................ 214
6.3.2有限前瞻中的计算问题............................................................................ 217
6.3.3问题近似——强化分解 ............................................................................ 219
6.3.4集结 ...................................................................................................... 223
6.3.5后续费用的参数化近似............................................................................ 227
6.4滚动算法 .......................................................................................................... 234
6.4.1离散确定性问题...................................................................................... 239
6.4.2由仿真评价的 Q-因子 ............................................................................. 251
目录 IX
6.4.3 Q-因子近似 ............................................................................................ 253
6.5模型预测控制及相关方法................................................................................... 255
6.5.1滚动时段近似 ......................................................................................... 255
6.5.2模型预测控制中的稳定性问题.................................................................. 257
6.5.3结构受限的策略...................................................................................... 262
6.6近似动态规划中的额外主题 ............................................................................... 266
6.6.1离散化 ................................................................................................... 266
6.6.2其他近似方法 ......................................................................................... 268
6.7注释、参考文献和习题 ...................................................................................... 269
第 7章无限阶段问题介绍 ............................................................................................ 280
7.1概览................................................................................................................. 280
7.2随机最短路径问题............................................................................................. 282
7.3折扣问题 .......................................................................................................... 290
7.4每阶段平均费用问题 ......................................................................................... 293
7.5半马尔可夫问题 ................................................................................................ 303
7.6注释、参考文献和习题 ...................................................................................... 310
附录 A数学知识复习 ................................................................................................... 320
A.1集合................................................................................................................ 320
A.2欧氏空间 ......................................................................................................... 321
A.3矩阵................................................................................................................ 321
A.4分析................................................................................................................ 324
A.5凸集和凸函数 .................................................................................................. 325
附录 B优化理论 .......................................................................................................... 327
B.1最优解............................................................................................................. 327
B.2最优性条件 ...................................................................................................... 328
B.3二次型最小化................................................................................................... 329
附录 C概率论 ............................................................................................................. 330
C.1概率空间 ......................................................................................................... 330
C.2随机变量 ......................................................................................................... 330
C.3条件概率 ......................................................................................................... 331
附录 D关于有限状态马尔可夫链................................................................................... 333
D.1平稳马尔可夫链 ............................................................................................... 333
D.2状态分类 ......................................................................................................... 334
D.3极限概率 ......................................................................................................... 334
动态规划与最优控制——近似动态规划 (第 I卷)
D.4首达时间 ......................................................................................................... 335
附录 E卡尔曼滤波 ....................................................................................................... 336
E.1最小二乘估计................................................................................................... 336
E.2线性最小二乘估计 ............................................................................................ 337
E.3状态估计——卡尔曼滤波器 ............................................................................... 342
E.4稳定性方面 ...................................................................................................... 346
E.5高斯-马尔可夫估计器........................................................................................ 347
E.6确定性最小二乘估计......................................................................................... 349
附录 F随机线性系统模型 ............................................................................................. 351
F.1具有随机输入的线性系统 .................................................................................. 351
F.2具有有理数谱的过程......................................................................................... 352
F.3 ARMAX模型 .................................................................................................. 353
附录 G不确定性下的决策问题建模 ............................................................................... 354
G.1不确定性下的决策问题 ..................................................................................... 354
G.2期望效用理论和风险 ........................................................................................ 357
G.3随机最优控制问题............................................................................................ 365
参考文献 ........................................................................................................................ 369
