Name: 增强学习与近似动态规划
Author: 徐昕
ISBN: 9787030275653

增强学习与近似动态规划

《增强学习与近似动态规划》对增强学习与近似动态规划的理论、算法及应用进行了深入研究和论述。主要内容包括：求解Markov链学习预测问题的时域差值学习算法和理论，求解连续空间Markov决策问题的梯度增强学习算法以及进化-梯度混合增强学习算法，基于核的近似动态规划算法，增强学习在移动机器人导航与控制中的应用等。《增强学习与近似动态规划》是作者在多个国家自然科学基金项目资助下取得的研究成果的总结，意在推动增强学习与近似动态规划理论与应用的发展，对于智能科学的前沿研究和智能学习系统的应用具有重要的科学意义。

微信读书推荐值

待评分

增强学习与近似动态规划

徐昕

目录
《智能科学技术著作丛书》序
前言
绪论 1
1.1 引言 1
1.2 增强学习与近似动态规划的研究概况 4
1.2.1 增强学习研究的相关学科背景 5
1.2.2 增强学习算法的研究进展 7
1.2.3 增强学习的泛化方法与近似动态规划 10
1.2.5 增强学习应用的研究进展 15
1.3.1 移动机器人体系结构的研究进展 18
1.3.2 移动机器人反应式导航方法的研究概况 19
1.3.3 移动机器人路径跟踪控制的研究概况 21
1.4 全书的组织结构 21
参考文献 24
线性时域差值学习理论与算法 32
2.1 Markov链与多步学习预测问题 33
2.1.1 Markov链的基础理论 33
2.1.2 基于Markov链的多步学习预测问题 36
2.2 TD(λ)学习算法 37
2.2.1 表格型TD(λ)学习算法 37
2.2.2 基于值函数逼近的TD(λ)学习算法 40
2.3.1 多步递推最小二乘TD(RLS-TD(λ))学习算法 42
2.3.2 RLS-TD(λ)学习算法的一致收敛性分析 44
2.4 多步学习预测的仿真研究 47
2.4.1 HopWorld问题学习预测仿真 47
2.4.2 连续状态随机行走问题的学习预测仿真 49
2.5 小结 51
参考文献 52
基于核的时域差值学习算法 53
3.1 核方法与基于核的学习机器 53
3.1.1 核函数的概念与性质 53
3.1.2 再生核Hilbert空间与核函数方法 54
3.2 核最小二乘时域差值学习算法 56
3.2.1 线性TD(λ)学习算法 58
3.2.2 KLS-TD(λ)学习算法 60
3.2.3 学习预测实验与比较 64
3.3 小结 65
参考文献 65
4.1 Markov决策过程与表格型增强学习算法 69
4.1.1 Markov决策过程及其最优值函数 69
4.1.2 表格型增强学习算法及其收敛性理论 71
4.2 基于改进CMAC的直接梯度增强学习算法 74
4.2.1 CMAC的结构 74
4.2.2 基于CMAC的直接梯度增强学习算法 76
4.2.3 两种改进的CMAC编码结构及其应用实例 78
4.3.2 非平稳策略残差梯度(RGNP)增强学习算法 89
4.3.4 Mountain-Car问题的仿真研究 92
4.3.5 Acrobot学习控制的仿真研究 96
4.4.1 AHC学习算法与Actor-Critic学习控制结构 101
4.4.2 Fast-AHC学习算法 103
4.5 小结 108
参考文献 109
5.1 进化计算的基本原理和方法 113
5.1.1 进化计算的基本原理和算法框架 113
5.1.2 进化算法的基本要素 114
5.1.3 进化算法的控制参数和性能评估 117
5.2.1 HERG算法的设计要点 120
5.2.2 HERG算法的流程 122
5.2.4 Acrobot系统的进化增强学习仿真 125
5.3.1 进化AHC算法 129
5.4 小结 132
参考文献 133
基于核的近似动态规划算法与理论 134
6.2.1 策略迭代与TD学习算法 137
6.2.2 核策略迭代算法KLSPI的基本框架 138
6.2.4 KLSPI算法的收敛性分析 143
6.3 核策略迭代算法的性能测试实验研究 145
6.3.1 具有20个状态的随机Markov链问题 146
6.3.2 具有50个状态的随机Markov决策问题 151
6.3.3 随机倒立摆学习控制问题 154
6.4 小结 157
参考文献 158
7.3.2 增强学习导航的仿真研究 171
7.4 小结 177
参考文献 177
8.1 基于增强学习的自适应PID控制器 180
8.2 自动驾驶汽车的侧向增强学习控制 183
8.2.1 自动驾驶汽车的动力学模型 183
8.2.3 自动驾驶汽车直线路径跟踪仿真 185
8.3.2 增强学习路径跟踪控制器设计 189
8.3.3 参考路径为直线时的仿真研究 189
8.3.4 参考路径为圆弧时的仿真研究 191
8.4.2 基于P3-AT平台的学习控制器设计 198
8.4.3 直线跟随实验 201
8.4.4 曲线跟随实验 203
8.5 小结 205
参考文献 206
总结与展望 208
参考文献 211

微信读书

增强学习与近似动态规划

简介

版权

增强学习与近似动态规划