【Udemy中英字幕】Modern Reinforcement Learning: Actor-Critic Algorithms

现代强化学习：Actor-Critic 算法

如何使用 PyTorch 框架在开放 AI 健身房中实现前沿人工智能研究论文

讲师：Phil Tabor

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

你将学到什么

如何在 PyTorch 中编写策略梯度方法
如何在 PyTorch 中编写深度确定性策略梯度 (DDPG)
如何在 PyTorch 中编写孪生延迟深度确定性策略梯度 (TD3)
如何在 PyTorch 中编写 Actor Critic 算法
如何用Python实现前沿人工智能研究论文

要求

对大学微积分的理解
强化学习之前的课程
能够独立编码深度神经网络

描述

在深度强化学习的高级课程中，您将学习如何以各种方式实现策略梯度、 演员批评家、深度确定性策略梯度 (DDPG)、孪生延迟深度确定性策略梯度 (TD3) 和软演员批评家 (SAC) 算法来自开放人工智能健身房的具有挑战性的环境。将重点关注处理具有连续动作空间的环境，这对于那些希望通过深度强化学习进行机器人控制研究的人特别感兴趣。

在这里，您将学习自己阅读深度强化学习研究论文，并从头开始实施它们，而不是一门填鸭式的课程。您将学习一个可重复的框架，用于快速实现高级研究论文中的算法。掌握本课程的内容将使您作为人工智能工程师的能力实现巨大飞跃，并使您在依赖他人分解复杂想法的学生中脱颖而出。

不用担心，如果距离您上一次强化学习课程已经有一段时间了，我们将从对核心主题的快节奏回顾开始。

本课程首先对强化学习的基础知识进行实际回顾，包括以下主题：

贝尔曼方程
马尔可夫决策过程
蒙特卡洛预测
蒙特卡罗控制
时间差异预测 TD(0)
使用 Q 学习进行时间差异控制

然后直接开始编写我们的第一个代理：玩人工智能的二十一点。从这里开始，我们将进一步教导智能体使用Q 学习来平衡车杆。

掌握了基础知识后，节奏加快，我们直接进入政策梯度方法的介绍。我们介绍了REINFORCE算法，并使用它来训练人工智能在 Open AI 健身房的月球着陆器环境中登陆月球。接下来，我们将编写一步演员批评算法，以再次击败月球着陆器。

基础知识完成后，我们将继续进行更困难的项目：实施深度强化学习研究论文。我们将从深度确定性策略梯度（DDPG）开始，这是一种用于训练机器人擅长各种连续控制任务的算法。DDPG将深度 Q 学习的许多进步与传统的演员批评方法相结合，在具有连续动作空间的环境中实现最先进的结果。

接下来，我们实现了最先进的人工智能算法： 双延迟深度确定性策略梯度（TD3）。该算法为连续机器人控制任务的性能树立了新的基准，我们将在 Open AI 健身房的 Bipedal Walker 环境中展示世界一流的性能。TD3基于 DDPG 算法，但解决了许多导致 DDPG 和其他 Actor Critic 算法性能不佳的近似问题。

最后，我们将实现软演员批评算法（SAC）。SAC 从完全不同的角度处理深度强化学习：将熵最大化而不是分数最大化视为可行的目标。这导致我们的代理增加了探索，并在许多重要的 Open AI Gym 环境中实现了世界一流的性能。

在课程结束时，您将知道 Actor-Critic 方法中以下基本问题的答案：