本书将阐述强化学习原理，力图揭示强化学习的基本思想和方法，并介绍应用强化学习的场景及出现的问题，探讨和提出我们的一些思路和方法。本书将从环境感知开篇，采用具体的传感、控制实例，说明强化学习中环境和智能体这两个要素。在此基础上，本书引出马尔科夫决策问题模型，以优化目标为导向，从数学和物理角度，详细阐述和推导各值函数方程的原理。为方便读者，本书附加了需要用到的概率和统计学原理。最后，本书按强化学习方法的优化途径，分类讲解各类算法的原理和实现，使读者对于理论的理解更透彻。 读者对象是人工智能、机器人、物联网、计算机等专业的本科生和研究生，及相关工程技术人员。

吴贺俊，中山大学计算机学院教授、博导，香港科技大学博士，中国大学慕课“人工智能原理与实践”主讲人，研究人工智能、智能物联网、机器人集群等，承担国家自然科学基金项目，发表多篇国际顶刊顶会论文。曾入选教育部高等学校计算机类专业教学指导委员会、中国教师发展基金会2022一2023年高校计算机专业优秀教师奖励计划，主讲的“人工智能”于2023年获得中国计算机教育大会(CECC)优秀课程配套资源特等奖。

前言 当前有很多版本的《强化学习》教材，其中Richard S. Sutton 、Andrew G. Barto等学者于1998年出版的《强化学习》尤为经典，此教材的第2版于2018年面世，这两本教材属于人工智能强化学习领域一致公认的经典巨作。2003年，我修读博士研究生的时候，业内还没有提出深度学习和深度强化学习的概念，当时选修的机器学习课程的教材之一就是Sutton和Barto教授撰写的第1版《强化学习》。Sutton等教授的教材深度剖析了强化学习方法的思想和原理，传播了强化学习的基本思想和基础理论。2019年，强化学习领域科学家俞凯先生翻译出版了Sutton和Barto教授原著《强化学习》的中文版，该中文版教材翻译质量极高，让中国学者对强化学习基本理论方法的学习变得更为便利。 那么，我为什么要写这本教材呢？其实我一直在等该领域内能有资深教授出版一本比较实用的、涵盖深度学习和深度强化学习基础的教材。经典的强化学习教材内没有提供这些内容，况且，正如俞凯先生在《强化学习》中文版教材前言中提到的，Sutton和Barto教授撰写的《强化学习》并非一本实用主义的算法普及书籍，而是强化学习思想的深度解析之作。所以，经典强化学习教材的编写大多从根本上可能就没有囊括深度强化学习等方法的初衷。直到2019年，我们教研组同事在教学中都感觉到从论文提炼出的关于深度强化学习和多智能体强化学习等内容的简单讲义让学生复习和参考都颇为不便，我便萌生了写这本书的意向。2019年11月，我们开始编写这本书，经过多年教学的积累，再加上这几年的准备和逐年的拓展，终于完成了本书。与深度学习、深度强化...