【Udemy中英字幕】Curiosity Driven Deep Reinforcement Learning

好奇心驱动的深度强化学习

智能体如何在没有奖励的环境中学习

讲师：Phil Tabor

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

你将学到什么

如何编写 A3C 代理代码
如何在 Python 中进行并行处理
如何实现深度强化学习论文
如何编写内在好奇心模块的代码

要求

编写演员评论家代理的经验

描述

如果强化学习要成为通用人工智能的可行途径，它必须学会应对奖励稀少或完全没有的环境。大多数现实生活中的系统提供的奖励仅在许多时间步骤后才会发生，从而使代理几乎没有信息来构建成功的策略。基于好奇心的强化学习通过赋予智能体对其世界天生的好奇感来解决这个问题，使其能够探索和学习导航世界的成功策略。

在这门关于深度强化学习的高级课程中，积极主动的学生将学习如何从头开始实现前沿的人工智能研究论文。对于那些有自己编写演员评论家代理经验的人来说，这是一门快节奏的课程。我们将在本课程中使用流行的 PyTorch 框架编写两篇论文。

第一篇论文涵盖了深度强化学习的异步方法；也称为流行的异步优势演员批评家算法（A3C）。在这里，学生将发现一种不需要 GPU 的新学习框架。我们将学习如何在 Python 中实现多线程，并使用它来并行训练多个 Actor Critic 代理。我们将超越本文的基本实现，并实施最近对强化学习的改进，称为广义优势估计。我们将在Open AI Gym 的 Atari 库的Pong 环境中测试我们的代理，并在短短几个小时内实现近乎世界一流的性能。

从这里开始，我们进入课程的核心：在奖励稀疏或完全没有的环境中学习。这种新范式利用智能体对环境的好奇心作为内在奖励，激励智能体探索和学习通用技能。我们将实现内在好奇心模块（ICM），它是任何深度强化学习算法的附加模块。我们将在类似迷宫的环境中训练和测试我们的代理，只有当代理达到目标时才会产生奖励。将展示相对于普通 A3C 算法的明显性能提升，最终展示好奇心驱动的深度强化学习的力量。

请记住，这是一门快节奏的课程，适合有积极性和进步的学生。只会对强化学习和演员批评方法的基本概念进行非常简短的回顾，然后我们将直接跳入阅读和实施论文。

ICM 和异步方法的优点在于这些范例可以应用于几乎任何其他强化学习算法。两者都具有高度适应性，并且只需对近端策略优化、软演员批评家或深度 Q 学习等算法进行少量修改即可插入。

学生将学习如何：