Oct, 2022

基于规划的探索：关于最优轨迹信息的研究

PDF
TL;DR通过规划最大化任务最优轨迹的期望信息增益的行动序列，使得该方法在较低的样本量下能够学习较强的策略，比探索基线算法少用 2 倍样本，比模型自由方法少用 200 倍样本。
发现论文，激发创造
  • 为高效探索确定目标取向轨迹

    本研究查明了纯随机漫步无法在大多数环境中成功扩展探索领域，并提出将单个随机操作选择替换为随机目标选择，该方法与任何基于好奇心的探索和脱机强化学习代理兼容，并生成比单个随机操作更长且更安全的轨迹。

    Jul, 2018

  • 具有前瞻信息的强化学习

    通过利用先验信息，我们设计了一种能够有效地学习和处理未知环境中的强化学习问题的算法，大大提高了收集奖励的效率。

    Jun, 2024

  • 提高代理学习的方法：保证所有回合实现目标

    强化学习是解决环境并实现目标达成的框架，该研究提出了一种灵活的算法来提升学习效率并确保目标达成的性质。通过实验证明，该算法能够增强学习效果并保持目标的达成性质。

    May, 2024

  • 回放缓存搜索：连接计划和强化学习

    我们介绍了一种结合规划算法和强化学习的通用控制算法，称为搜索回放缓冲（SoRB），可以自动生成子目标序列并解决高维度的长期任务。

    Jun, 2019

  • 基于模型内在动机的离策略学习与主动在线探索

    通过引入预测模型和离线学习元素，结合一个实用性较高的终端价值函数，本文研究了如何在连续控制任务中实现样本高效的探索能力。通过利用潜在状态空间内的前向预测误差，我们得出了一种不引入额外参数的固有奖励。该奖励与模型不确定性有强烈的关联，使得智能体能够有效地克服渐进性能差距。通过广泛的实验证明，我们的方法在与以往工作的比较中表现出有竞争力的甚至更优异的性能，尤其是在稀疏奖励的情况下。

    Mar, 2024

  • 强化学习的无奖励探索

    该论文提出了一个新的 “无奖励强化学习” 框架，通过在探索阶段从 MDP 采集轨迹来找到探索策略，并使用黑盒近似规划器计算接近最优的策略。

    Feb, 2020

  • 通过最大化 Rényi 熵进行无奖励强化学习框架探索

    通过最大化 Renyi 熵的方法，提出了一种适用于元 RL 的无奖励强化学习框架，该框架有效地解决了探索和利用分离的问题，并设计了相应的强化学习算法 (batch RL algorithm) 以便在规划阶段中能更好地处理任意奖励函数。

    Jun, 2020

  • 蒙特卡罗强化学习中的轨迹截断

    该研究提出了一种基于预算分配的数据收集策略，通过对轨迹进行截断来最小化策略的预期收益的经验估计的置信区间的宽度。研究还使用这种轨迹截断机制扩展了一种基于重要性采样的政策优化算法，并在数值比较中证明了该算法可以成功提高性能。

    May, 2023

  • 几乎极小化最优无奖学习

    研究奖励免费强化学习框架，提出新的有效算法 SS+TP，通过探索和计划两个阶段，分别进行轨迹收集和任意奖励函数优化，达到对多个奖励函数的策略优化。

    Oct, 2020

  • 利用演示克服强化学习中的探索问题

    本研究利用示范来解决强化学习中稀疏奖励的探索问题，成功地学习了长期、多步骤的机器人任务，方法使用了 DDPG 和 HER 算法，提供了一种在仿真机器人任务上比以往 RL 算法快一个数量级的加速，方法易于实现，能够解决在行为克隆和 RL 算法中 都无法解决的任务，并且往往表现优于示范策略。

    Sep, 2017