Jan, 2019

永不忘记：通过学习光流实现探索和开发的平衡

PDF
TL;DR本研究提出了利用光流估计来评估新观测的新颖性，以解决深度强化学习中高维观测任务下探索和开发之间平衡的问题。实验结果表明，该方法相对于以前的方法具有更优异和持久的性能。
exploration bonusreinforcement learningcuriosity-driven explorationoptical flow estimationperformance
发现论文，激发创造
  • 基于流量的内在好奇心模块

    本文提出了一种基于深度强化学习框架的预测为主的新颖性估计策略，并介绍了一种基于流的内部好奇心模块 (FICM)，以利用光流估计中的预测误差作为探索奖励来评估环境中的观测新颖性。我们比较了多个基准环境上的现有方法，并证明了 FICM 对于具有移动物体的任务或环境非常有利。

    May, 2019

  • 探索性示例模型用于深度强化学习

    本文提出了一种基于判别式训练范例模型的探索性新颖性检测算法，该算法可以应用于稀疏回报问题的深度强化学习任务，此方法在 vizDoom 基准测试中取得了最先进的结果。

    Mar, 2017

  • 为高效探索确定目标取向轨迹

    本研究查明了纯随机漫步无法在大多数环境中成功扩展探索领域，并提出将单个随机操作选择替换为随机目标选择，该方法与任何基于好奇心的探索和脱机强化学习代理兼容，并生成比单个随机操作更长且更安全的轨迹。

    Jul, 2018

  • 永不放弃：学习有向探索策略

    本篇论文提出了一种基于强化学习和 UVFA 框架的方法，通过学习一系列定向的探索策略来解决难以探索的游戏，并使用轨迹存储和 kNN 算法来构造一种内在奖励信号，以影响策略的学习方式，并在 Atari-57 游戏套件中得到了很好的表现结果。

    Feb, 2020

  • 应对挑战环境中机器人探索的在线自适应无导数评估

    该论文介绍了一种基于状态价值函数、离线蒙特卡罗训练和基于传感器信息的内在奖励函数的机器人探索方法，该方法能够更好地预测未来状态的价值以更好地指导机器人探索，在挑战性的地下和城市环境中首次应用于真实世界数据集中。

    Apr, 2022

  • 序列化、低延迟、事件驱动光流学习的对比最大化控制

    研究了一种基于事件摄像机的光流无监督学习算法，可以用于实现高频推理的低延迟和低功耗的解决方案，并且在多个数据集上得到了验证。

    Mar, 2023

  • 深度强化学习中的探索目标：奖赏预测误差

    该论文提出了一种基于 Q 值函数的深度增强学习方法 QXplore，通过最大化预测外在奖励的值函数的奖励预测误差来解决高维 MDPs 的难解探索任务，该方法相比于基于状态新颖性的方法，在很多任务中表现更好。

    Jun, 2019

  • 神经启发的碎片化和回忆：解决好奇心中的灾难性遗忘

    在大型环境中，深度强化学习方法在多个任务上表现出色，但在具有稀疏奖励的困难探索任务上仍然面临困难。本研究发现基于预测的内在奖励方法可能出现灾难性遗忘，并提出了一种名为 FARCuriosity 的新方法，通过碎片化和回溯来减轻灾难性遗忘问题，提升了在具有不同环境的游戏中的性能表现。

    Oct, 2023

  • 多智能体强化学习中避免重复探索

    在多智能体强化学习领域，内在动机作为一种重要的探索工具已经出现。我们提出了一种动态奖励缩放方法，以应对神经网络统计近似器的有限表达能力所带来的挑战，并有效控制多次重复访问任务空间的现象，在 Google Research Football 和 StarCraft II 微管理任务等挑战性环境中展示了改进的性能，尤其是在稀疏奖励设置下。

    Aug, 2023

  • 稀疏奖励下连续控制任务中的本地持久探索

    本文提出了一种新的基于探索者轨迹的探索策略，使用局部自避步态生成方法，结合合适的状态平均距离，来为稀疏奖励的连续状态和行动空间提供短时记忆，实现高效的环境探索。

    Dec, 2020