Jan, 2022

选择的悖论：在分层强化学习中使用注意力

PDF
TL;DR本文提出了一个注意机制来限制每个步骤的可用选项，通过学习 affordances 并进一步学习子目标选项，解决了层次强化学习中规划深度和分支因素的问题，并探讨了硬注意和软注意的作用，是一篇关于强化学习的研究论文。
hierarchical reinforcement learningaffordancesattention mechanismlong-horizon tasksreinforcement learning
发现论文，激发创造
  • 可能性优先于效用：学习和使用分级的可用性

    本文介绍了一种基于 Hierarchical Affordance Learning 的方法，通过学习层次性可提供性模型来修剪不可能的子任务以实现更有效的学习，相对于非可提供性感知方法，HAL 代理能更好地学习复杂任务，规避环境中的随机性，获得多种技能，并且不需要外部监督。

    Mar, 2022

  • 强化学习中的可行性原理理论

    本文提出了一种基于 Markov Decision Processes 的行动效益理论，它能够加速计划过程，同时提高学习效率和准确性，特别是在需要函数逼近的模型中。文中还介绍了一种学习行动效益的方法，并将其用于估计更简单且泛化能力更强的状态转移模型。

    Jun, 2020

  • GrASP: 基于梯度的可供性选择规划

    本篇论文主要探讨在大规模强化学习领域中，如何解决在使用树搜索规划时处理连续动作空间的问题，并通过学习选取能够有助于规划的可接受行为（Affordances），并以基于梯度下降的方法更新其参数，从而实现同时学习选取单元行为和规划带有学习后价值等价模型的方法优于无模型强化学习的目的。

    Feb, 2022

  • 自适应前瞻规划与学习

    本研究介绍了一种新的强化学习框架，提出了基于状态相关价值估计的自适应规划水平选择策略，并设计了相应的深度 Q 网络算法，最后在迷宫环境和 Atari 上验证了方法的有效性。

    Jan, 2022

  • 学习多级层次结构及回溯

    本文介绍了一种新的 Hierarchical Reinforcement Learning (HRL) 框架 - Hierarchical Actor-Critic (HAC)，该框架能够克服在试图同时学习多个策略层级时出现的不稳定性问题，并能够在连续状态和动作空间的任务中成功地学习 3 级层级。

    Dec, 2017

  • 基于注意力增强代理的可解释强化学习

    本文提出了一种结合软性、自上而下的注意机制的强化学习模型，使用信息瓶颈迫使智能体只关注任务相关信息，从而生成容易解释的模型。在 ATARI 游戏上实现了与最先进模型竞争力相当的性能。

    Jun, 2019

  • 基于层叠分层注意力的深度强化学习在基于文本的游戏中的应用

    本文研究了强化学习在基于文本的游戏中的应用，提出了利用知识图谱进行明确推理的方法，并通过分层注意机制构建了推理过程的显式表示，实验结果表明该方法优于现有的基于文本的代理人。

    Oct, 2020

  • 深度强化学习自动驾驶决策的揭秘

    自适应驾驶决策中，深度强化学习模型的黑盒特性限制了实际应用，因此本研究工作关注一种基于注意力机制的可解释深度强化学习框架，并使用连续近端策略优化算法作为基准模型，在开源自适应驾驶仿真环境中加入了多头注意力机制。通过分析技术讨论模型的可解释性和因果关系，发现模型的第一个头部编码了邻近车辆的位置，而第二个头部则专注于领导车辆。此外，自车的动作在时空上受到目标车道上车辆的因果依赖。这些发现可帮助从业人员解读深度强化学习算法的结果。

    Mar, 2024

  • 层次化模仿与强化学习

    论文提出了一种算法框架，称为层次性指导，旨在通过利用专家的反馈来学习序贯决策制定策略，以应对奖励稀疏和时间范围长等问题，该框架可以在不同的层次上组合不同的 imitation learning 和 reinforcement learning，从而大大减少专家工作量和探索成本，并对该框架的某些实例的标注成本进行了理论分析。

    Mar, 2018

  • 具有 AI 规划模型的分层强化学习

    本研究提出了一种将高层次 AI 规划与强化学习相结合的综合方法，通过建立 AI 规划问题的状态转换模型与马尔科夫决策过程的抽象状态转换系统之间的对应关系，使用内在奖励学习定义层次强化学习中的操作，以增强其一致性与从容。实验结果表明，与现有方法相比，该方法在 MiniGrid 和 N 房间环境中表现更好。

    Mar, 2022