社长致辞
企业简介
组织机构
海外合作
企业荣誉
社务委员会
纸质书
电子书
在线课程
计算机与信息分社
理工分社
经管人文分社
外语分社
音像电子与数字出版分社
职业教育分社
生命科学与医学分社
基础教育分社
学术出版中心
第五事业部
第八事业部
读者服务
欢迎投稿
院系/图书馆服务
经销商服务
版权贸易
人才招聘
授权书查询
目录
第1章强化学习概述
1.1强化学习的背景
1.2强化学习初探
1.2.1智能体和环境
1.2.2智能体主要组成
1.2.3强化学习、监督学习、非监督学习
1.2.4强化学习分类
1.2.5研究方法
1.2.6发展历程
1.3强化学习的重点概念
1.3.1学习与规划
1.3.2探索与利用
1.3.3预测与控制
1.4小结
1.5习题
第2章马尔可夫决策过程
2.1马尔可夫基本概念
2.1.1马尔可夫性
2.1.2马尔可夫过程
2.1.3马尔可夫决策过程
2.2贝尔曼方程
2.2.1贝尔曼期望方程
2.2.2贝尔曼最优方程
2.3最优策略
2.3.1最优策略定义
2.3.2求解最优策略
2.4小结
2.5习题
第3章动态规划
3.1动态规划简介
3.2策略评估
3.3策略改进
3.4策略迭代
3.5值迭代
3.6实例讲解
3.6.1“找宝藏”环境描述
3.6.2策略迭代
3.6.3值迭代
3.6.4实例小结
3.7小结
3.8习题
第4章蒙特卡罗
4.1蒙特卡罗简介
4.2蒙特卡罗评估
4.3蒙特卡罗控制
4.4在线策略蒙特卡罗
4.5离线策略蒙特卡罗
4.5.1重要性采样离线策略蒙特卡罗
4.5.2加权重要性采样离线策略蒙特卡罗
4.6实例讲解
4.6.1“十点半”游戏
4.6.2在线策略蒙特卡罗
4.6.3离线策略蒙特卡罗
4.6.4实例小结
4.7小结
4.8习题
第5章时序差分
5.1时序差分简介
5.2三种方法的性质对比
5.3Sarsa: 在线策略TD
5.4Qlearning: 离线策略TD方法
5.5实例讲解
5.5.1迷宫寻宝
5.5.2Sarsa方法
5.5.3Qlearning方法
5.5.4实例小结
5.6小结
5.7习题
第6章资格迹
6.1资格迹简介
6.2多步TD评估
6.3前向算法
6.4后向算法
6.5前向算法与后向算法的统一
6.6Sarsa(λ)方法
6.6.1前向Sarsa(λ)方法
6.6.2后向Sarsa(λ)方法
6.7Q (λ)方法
6.7.1前向Watkinss Q(λ)方法
6.7.2后向Watkinss Q(λ)方法
*6.7.3Pengs Q(λ)方法
6.8实例讲解
6.8.1风格子世界
6.8.2后向Sarsa(λ)
6.8.3后向Q(λ)
6.8.4实例小结
6.9小结
6.10习题
第7章值函数逼近
7.1值函数逼近简介
7.2线性逼近
7.2.1增量法
7.2.2批量法
7.3非线性逼近
7.3.1DQN方法
7.3.2Double DQN方法
7.3.3Dueling DQN方法
7.4实例讲解
7.4.1游戏简介
7.4.2环境描述
7.4.3算法详情
7.4.4核心代码
7.5小结
7.6习题
第8章随机策略梯度
8.1随机策略梯度简介
8.1.1策略梯度优缺点
8.1.2策略梯度方法分类
8.2随机策略梯度定理及证明
8.2.1随机策略梯度定理
*8.2.2随机策略梯度定理证明
8.3蒙特卡罗策略梯度
8.3.1REINFORCE方法
8.3.2带基线的REINFORCE方法
8.4TRPO方法
8.5实例讲解
8.5.1游戏简介及环境描述
8.5.2算法详情
8.5.3核心代码
8.6小结
8.7习题
第9章ActorCritic及变种
9.1AC方法
9.1.1在线策略AC方法
9.1.2离线策略AC方法
9.1.3兼容性近似函数定理
9.2A2C方法
9.3A3C方法
9.3.1简介
9.3.2异步Qlearning方法
9.3.3异步Sarsa方法
9.3.4异步n步Qlearning方法
9.3.5A3C方法详述
9.4实例讲解
9.4.1AC实例
9.4.2A3C实例
9.5小结
9.6习题
第10章确定性策略梯度
10.1确定性策略梯度及证明
10.1.1确定性策略梯度定理
*10.1.2确定性策略梯度定理证明
10.2DPG方法
10.2.1在线策略确定性AC方法
10.2.2离线策略确定性AC
10.2.3兼容性近似函数定理
10.3DDPG方法
10.3.1DDPG简介
10.3.2算法要点
10.3.3算法流程
10.4实例讲解
10.4.1游戏简介及环境描述
10.4.2算法详情
10.4.3核心代码
10.5小结
10.6习题
第11章学习与规划
11.1有模型方法和无模型方法
11.2模型拟合
11.2.1模型数学表示
11.2.2监督式学习构建模型
11.2.3利用模型进行规划
11.3Dyna框架及相关算法
11.3.1DynaQ
11.3.2DynaQ+
11.3.3优先级扫描的DynaQ
11.4Dyna2
11.5实例讲解
11.5.1游戏简介及环境描述
11.5.2算法详情
11.5.3核心代码
11.6小结
11.7习题
第12章探索与利用
12.1探索利用困境
12.2多臂赌博机问题
12.3朴素探索
12.4乐观初始值估计
12.5置信区间上界
12.6概率匹配
12.7信息价值
12.8实例讲解
12.8.1游戏简介及环境描述
12.8.2算法详情
12.8.3核心代码
12.9小结
12.10习题
第13章博弈强化学习
13.1博弈及博弈树
13.2极大极小搜索
13.3AlphaBeta搜索
13.4蒙特卡罗树搜索
13.5AlphaGo
13.5.1监督学习策略网络pσ
13.5.2快速走子策略网络pπ
13.5.3强化学习策略网络pρ
13.5.4价值网络vθ
13.5.5蒙特卡罗树搜索
13.5.6总结
13.6AlphaGo Zero
13.6.1下棋原理
13.6.2网络结构
13.6.3蒙特卡罗树搜索
13.6.4总结
13.7AlphaZero
13.8实例讲解
13.8.1游戏简介及环境描述
13.8.2算法流程描述
13.8.3算法细节
13.8.4核心代码
13.9小结
13.10习题
参考文献
关于我们
企业新闻
产品中心
图书
期刊
书目下载
分社导航
直属事业部
联系我们
+
扫描关注官方微博
扫描关注官方微信
访问量:
518677385
友情连接
版权所有(C)2023 清华大学出版社有限公司 京ICP备10035462号 京公网安备11010802042911号
联系我们 | 网站地图 | 法律声明 | 友情链接 | 盗版举报 | 人才招聘