HRL

前言 最近发现 HRL (Hierarchical Reinforcement Learning) 似乎是一个非常有趣的研究方法，这里汇总了自己调研的几篇经典文章与心得体会 真是越看越心酸，前一阵子洗澡时想到可以在学习出的 RL agent 上再套一个 RL算法来学习，结果发现这正是 HRL 的思路😂 目录 Learning Representations in Model-Free Hierarchical Reinforcement Learning Hierarchical Deep Reinforcement Learning Integrating Temporal Abstraction and Intrinsic Motivation Learning Representations in Model-Free Hierarchical Reinforcement Learning 论文链接 论文的研究动机是通过引入 HRL 来解决 RL 面对具有 Sparse Reward 的问题表现不佳的问题（个人感觉这是在使用另一种方式去解决 NeSy 方法在做的事情，都是引入抽象的特征表示） Method 论文采用的方法框架由一个生产 sub goal 的 Meta-Controller 和一个解决 sub goal 的 Controller 组成 在时间 t 时，Meta-Controller 接收环境状态 $s_t$ 并选择一个 sub goal $g_t \in \mathcal{G}$ ，Controller 接收环境状态 $s_t$ 和 sub goal $g_t$ 并选择一个动作 $a_t$ ...