IJCAIMay, 2019

Successor Options: 基于继承关系的强化学习选项发现框架

PDF
TL;DR探讨一种名为 Successor Options 的新方法，该方法使用 Successor Representations 构建状态空间模型，通过学习伪奖励来了解内部操作策略，并且适用于高维空间的机器人控制环境。
reinforcement learningoptions frameworksuccessor optionssuccessor representationshigh-dimensional spaces
发现论文，激发创造
  • 基于深度后继表示的特征值选项发现

    本研究论文以最近提出的使用表征学习方法指导 option 发现过程的想法为重点，扩展了现有算法以适应具有随机转换且不存在人工特征的环境，并提出了一种算法，用于从原始图像中学习非线性状态表示，从而发现 eigenoptions，从传统表格模型和 Atari 2600 游戏中的实验结果表明，该算法具有潜力。

    Oct, 2017

  • 具备继承特性的选项传输和 SMDP 抽象

    本文研究了强化学习中的联合时间和状态抽象，其中采用继承特征的新颖抽象机制，使得抽象选项可以在不同环境下转移并进行有效规划。

    Oct, 2021

  • 继承特征将模型无关和基于模型的强化学习元素相结合

    本文分析了不同潜在状态空间的属性，发现了模型学习与模型自由强化学习之间的新联系，并表明对未来奖励结果预测有用的表征可在转换和奖励变化条件下进行推广，从而进一步实现模型学习和继承特征之间的联系。

    Jan, 2019

  • 学习抽象选项

    通过构建一个层次化的选项体系，我们扩展了 Bacon 等人 2017 年的研究成果，提出了一种新的深度选项体系架构，并在离散和连续环境中进行了实证研究。

    Oct, 2018

  • 迭代式规划中的选项发现

    发现有用的时间抽象，以选项的形式展现，被广泛认为是将强化学习和规划应用于越来越复杂的领域的关键。在 AlphaZero 中，借鉴专家迭代方法的经验成功，我们提出 Option Iteration 作为选项发现的相似方法，该方法学习一组选项策略以匹配未来某一时点的搜索结果，从而在具有挑战性的规划环境中比原始动作的规划算法和专家迭代的单一策略学习展示出明显的优势。

    Oct, 2023

  • 多任务选项学习与发现在随机路径规划中的应用

    应用强化学习模式下，通过数据驱动方法生成抽象状态，计算有效的选项和高级实现路径，从而获得可执行和可解决性的强大保证。

    Sep, 2022

  • 基于模型的强化学习中的尊重奖励的子任务

    为了实现人工智能的宏伟目标，强化学习必须包括使用抽象的状态和时间模型进行规划。本文提出了一种新的子任务方法，该方法使用原始奖励加上基于选项停止时的状态特征的奖励作为子任务，以生成选项和选项模型，解决了以往学术研究忽略问题的情况。结果表明，这种子任务生成的选项和选项模型在规划中更有效，并且可以使用现有的学习算法进行在线和非策略学习。最后，本文还展示了如何使用通用价值函数统一算法，从而统一了学习价值、策略、选项和模型的方法。

    Feb, 2022

  • 深度继承强化学习

    该论文介绍了 DSR，即在一个端到端的深度强化学习框架中，将 SR 进行了推广，通过奖励预测和继任者映射的分解提高了对远程奖励变化的灵敏度，并能够从随机策略下训练的继任者地图中提取瓶颈状态（子目标） 。然后在两个不同的环境中展示了该方法的有效性，包括简单的网格世界领域和 Doom 游戏引擎。

    Jun, 2016

  • 学习通过选项框架整合强化学习的探索策略

    提出了基于选项评论家模型的统一强化学习探索框架，该框架学习集成一组多样的探索策略，使得智能体能够自适应地选择最有效的探索策略，以实现给定任务的相关探索与利用平衡。通过在 MiniGrid 和 Atari 环境中进行各种实验验证了所提探索框架的有效性。

    Oct, 2023

  • 用预算强化学习实现选项发现

    本研究关注 Reinforcement Learning 中学习层次策略的问题，提出了一种新的学习模型 Budgeted Option Neural Network（BONN）来自动发现决策过程中的选项，并在不同的经典 RL 问题上取得了有趣的定量和定性结果。

    Nov, 2016