首页 > 图书中心 >图书详情

动态规划与最优控制——近似动态规划

本书系统性介绍动态规划,特别是近似动态规划,包括折扣问题的理论与计算方法、随机最短路问题、无折扣问题、平均费用问题、折扣与无折扣问题的近似动态规划等。

作者:[美]德梅萃 P. 博塞克斯(Dimitri P. Bertsekas)著 贾庆山 译
定价:129
印次:1-1
ISBN:9787302561460
出版日期:2021.02.01
印刷日期:2021.01.14

本书系统性介绍动态规划,特别是近似动态规划,包括折扣问题的理论与计算方法、随机最短路问题、无折扣问题、平均费用问题、折扣与无折扣问题的近似动态规划等。

more >

序言 这是第II卷的一次重要修订,增加了大量新内容,并对原有内容进行了重新组织。与第三版相比,篇幅增加了逾60%,大部分原有内容被重新组织并/或修订。第II卷现在超过700页,在篇幅上超过了第I卷。这几乎可以被视为一本新书! 近似动态规划已成为第II卷的核心内容,占据全书超过一半的内容(最后两章的全部以及第1~3章的大部分内容)。所以,第II卷可被视作我1996年的《神经元动态规划》一书(与JohnTsitsiklis合著)的续作。现在这本书着重关注1996年之后新的研究成果。另一方面,本书保留了作为教科书的体系,一些内容以形象的甚至是不严格的程度来解释,并引用期刊论文或《神经元动态规划》一书参考更数学化的处理。 在扩展与重新组织的过程中,本书的结构变得更加模块化,更适合课堂教学的使用。可在一学期约三分之一至一半时间内讲完的核心内容,包括第1章(除了1.3节、1.4节与特定应用对应的内容),第2章和第6章合在一起自成体系。这些内容集中在折扣问题,可通过第3章和7.1节的随机最短路问题的内容进行补充。实际上,这构成了我在麻省理工学院的课堂上讲授的内容的一半(剩下的一半来自第I卷,包括那一卷的第6章,讨论有限阶段近似动态规划问题)。在第5章、7.2节、7.4节中的平均费用问题的内容,正和负动态规划模型的高级内容(7.3节)是最后的内容,可由教师根据实际情况选用。 因为本书的重点发生了转移,我将更多的重心放在新近的研究成果上,包括近似动态规划和基于仿真的方法,还包括异步迭代方法,这一方法以仿真为中心视角,因为仿真是天然异步的。许多这些内容源自从前一版发行以来六年时间里我自己以及合作的研究内容。其中一些重点,按照在文中出现的顺序,如下: (1) 一般的折扣动态规划问题的计算方法(2.5节和2.6节),包括2.5节中近似涉及的误差界,2.6.2节和2.6.3节中的异步乐观策略迭代方法,以及在博弈与极小极大问题,约束策略迭代和Q-学习中的应用。 (2) 涉及不合适策略随机最短路问题的策略迭代方法(包括异步乐观的版本)(3.4节)。 (3) 在6.3节~6.6 节中的多种基于仿真的近似值迭代和近似策略迭代方法的大量新增内容。 (4) 乐观策略迭代新的可靠的Q-学习算法(2.6.3节和6.6.2节)。 (5) 多步方法的新的仿真技术,比如几何采样和自由形式采样(6.4.1节和7.3.3节)。 (6) 7.3节中蒙特卡罗线性代数的大量新增内容(主要是大规模线性方程的基于仿真和近似解),这部分内容扩展了近似策略评价的动态规划方法。 (1)~(5) 中的许多研究内容基于我与Janey(Huizhen)Yu的工作,而(6)中的大部分研究是基于我与JaneyYu和MengdiWang的工作。我与Janey和Mengdi的合作对本书有重要影响,在此深表感谢。我们的一些工作只以总结形式涉及,并稍作修改以适应本书的体系与目的;自然地,其表述上的不足应由我承担全部责任。请读者参阅我们的合作以及各自的学术论文,那里更全面地描述了我们的研究,包括本书不能涵盖的内容。 我向在近似动态规划的研究中合作的同事一并致谢,他们以不同形式为这本书做出了贡献,特别是VivekBorkar、AngeliaNedic和BenVanRoy。特别感谢JohnTsitsiklis,我与他在动态规划与异步算法上有着逾三十年的交流与合作。我还想感谢来自许多同事的有益的交流,包括VivekFarias、EugeneFeinberg、WarrenPowell、MartinPuterman、UrielRothblum和BrunoScherrer。最后,我想感谢近十年来我动态规划课堂上的诸多学生,他们耐心地使用尚在建设中的教材,并通过涉及广泛应用领域的研究课题贡献了他们的想法和经验。 Dimitri P. Bertsekas 2012 年春 ?? ?? ?? Python语言简介

more >
扫描二维码
下载APP了解更多

同系列产品more >

电力系统发电、运行和控制(第三版)...

Allen J. Wood, Bruce F
定 价:128元

查看详情
机电系统设计方法、模型及概念: ...

[德]Klaus Janschek、张
定 价:69元

查看详情
机电系统设计方法、模型及概念: ...

[德]Klaus Janschek 著
定 价:59元

查看详情
射频功率放大器(第2版)

(美)Marian K. Kazimi
定 价:99元

查看详情
现代电力系统分析(第四版)

[印]DP Kothari,I J Na
定 价:99元

查看详情
图书分类全部图书
more >
  • 贾庆山,清华大学自动化系副教授,2002年和2006年分别于清华大学自动化系获工学学士、博士学位,同年留校任教。2006、2010、2013年分别任美国哈佛大学、香港科技大学、美国麻省理工学院访问学者。作为负责人先后承担国家自然科学基金青年基金、面上项目、优秀青年基金,参加国家自然科学基金重点项目、重大研究计划培育项目和集成项目。承担多个国际合作项目。任IEEE Transactions on Automation Science and Engineering、Discrete Event Dynamic Systems - Theory and Applications等国际期刊副编辑,IIE Transactions领域编辑。发表国际期刊论文和国际会议论文逾八十篇,合著英文专著一部,合编英文专著一部,合译教材一本。
  • 本书系统性介绍动态规划,特别是近似动态规划,包括折扣问题的理论与计算方法、随机最短路问题、无折扣问题、平均费用问题、折扣与无折扣问题的近似动态规划等。
more >
  • 目录

    第1章  折扣问题——理论 1

    1.1  总费用最小化——介绍 1

    1.1.1  有限阶段动态规划算法 3

    1.1.2  符号简写与单调性 4

    1.1.3  无穷阶段结果的预览 6

    1.1.4  随机的和依赖历史的策略 7

    1.2  折扣问题——各阶段费用有界 9

    1.3  调度与多柄老虎机问题 15

    1.3.1  项目的指标 16

    1.3.2  项目逐个退出策略 17

    1.4  折扣连续时间问题 23

    1.5  压缩映射的作用 32

    1.5.1  极大模压缩 33

    1.5.2  折扣问题——单阶段费用无界 38

    1.6  折扣动态规划的一般形式 40

    1.6.1  压缩与单调性的基本结论 44

    1.6.2  折扣动态博弈 49

    1.7  注释、参考文献及习题 50

    习题 51

    第2章  折扣问题——计算方法 57

    2.1  马尔可夫决策问题 57

    2.2  值迭代 59

    2.2.1  值迭代的单调误差界 59

    2.2.2  值迭代的变形 65

    2.2.3  Q-学习 67

    2.3  策略迭代 69

    2.3.1  针对费用的策略迭代 69

    2.3.2  Q-因子的策略迭代 72

    2.3.3  乐观策略迭代 73

    2.3.4  有限前瞻策略和滚动 75

    2.4  线性规划方法 79

    2.5  一般折扣问题的方法 81

    2.5.1  采用近似的有限前瞻策略 83

    2.5.2  推广的值迭代 85

    2.5.3  近似值迭代 86

    2.5.4  推广的策略迭代 87

    2.5.5  推广的乐观策略迭代 90 ...

精彩书评more >

标题

评论

版权所有(C)2019 清华大学出版社有限公司 京ICP备10035462号 京公网安备11010802013248号

联系我们 | 网站地图 | 法律声明 | 友情链接 | 盗版举报 | 人才招聘