本书的目的是考虑大型且具有挑战性的多阶段决策问题，这些问题原则上可以通过动态规划和**控制来解决，但它们的精确解决方案在计算上是难以处理的。本书讨论依赖于近似的解决方法，以产生具有足够性能的次优策略。这些方法统称为增强学习，也可以叫做近似动态规划和神经动态规划等。 本书的主题产生于**控制和人工智能思想的相互作用。本书的目的之一是探索这两个领域之间的共同边界，并架设一座具有任一领域背景的专业人士都可以访问的桥梁。

李宇超，瑞典皇家理工学院决策与控制专业博士在读。博士期间研究课题为强化学习，**控制，以及相关理论在智能交通领域的应用。他于2015年在哈尔滨工业大学机械制造及其自动化专业获得本科学位，并在1年后从现就读学院的机电一体化专业获得硕士学位。

序 言 转而投身于现代计算机的怀抱，让我们放弃所有分析工具。（Turning to the succor of modern computing machines, let us renounce all analytic tools.） （理查德·贝尔曼[Bel57]） 从目的论的角度来看，任何特定方程组的特定数值解都远不如理解的性质重要。（From a teleological point of view the particular numerical solution of any particular set of equations is of far less importance than the understanding of the nature of the solution.） （理查德·贝尔曼[Bel57]） 在本书中，我们考虑大规模且具有挑战性的多阶段决策问题。原则上，该类问题可以通过动态规划（dynamic programming，DP）来求解。但是，对于许多实际问题以该方法进行数值求解是难以实现的。本书探讨的求解方法通过采用相关的近似，能够给出满足性能要求的次优策略。此类方法有几个不同的但本质上等价的名称：强化学习（reinforcement learning）、近似动态规划（approximate dynamic programming）和神经元动态规划（neuro-dynamic programming）。在本书中，我们将使用其最通俗的名称：强化学习。 我们所讲的学科从最优控制和人工智能这两个领域的...