IJCAIMay, 2021

MapGo: 面向目标任务的模型辅助策略优化

PDF
TL;DR本文提出了一种名为 FGI 的新的重标记策略用于改善回报稀疏性问题，并通过引入动态模型来生成模拟轨迹来提高采样效率，提出了一种名为 MapGo 框架用于目标导向任务的模型辅助策略优化， 并在复杂任务上的实验证明了 FGI 策略相比后见策略的有效性，并且 MapGo 框架相对于无模型的基线表现出更高的采样效率。
goal-oriented reinforcement learningreward sparsity problemforesight goal inferencedynamics modelmapgo framework
发现论文，激发创造
  • 带有目标关系图的层次化和部分可观察的目标驱动策略学习

    本研究提出一种新型的基于两层分层强化学习的目标驱动任务解决方法，使用 Goals Relational Graph 优化部分可观察的目标导向任务，例如目标驱动视觉导航，实验结果显示该方法在新环境和新目标上表现出卓越的泛化性能。

    Mar, 2021

  • GOPlan: 使用学习模型通过规划进行目标条件下离线强化学习

    提出了一种新的基于模型的两阶段框架，Goal-conditioned Offline Planning（GOPlan），通过预训练一个能够捕捉多模式行为分布的先验策略，并利用规划生成假想轨迹进行微调策略，实现了离线多目标操作任务上最先进的性能。

    Oct, 2023

  • 目标感知预测：学习如何模拟重要因素

    该论文提出了一种基于自监督学习的学习动力学模型，该模型可用于任务规划和策略学习，避免了视觉控制任务中由于真实环境的复杂度超过模型容量所导致的训练效率低的问题。

    Jul, 2020

  • 通过目标感知表示学习和自适应视野预测实现开放式多任务控制

    研究学习目标条件无关策略在 Minecraft 中的应用，提出了 Goal-Sensitive Backbone (GSB) 策略和自适应视角预测模块用于解决任务状态多样性和非静态动力学带来的挑战，并在 20 个 Minecraft 任务上进行了实验以证明方法的有效性。

    Jan, 2023

  • 自动驾驶车辆存在遮挡因素的可解释目标识别

    本研究提出 Goal and Occluded Factor Inference (GOFI) 算法，在自动驾驶场景下应用逆向规划技术共同推断目标和潜在的遮挡因素的概率信念，并将这些信念集成到蒙特卡罗树搜索（MCTS）中，从而更准确地预测其他智能体的行为并避免碰撞等风险。

    Aug, 2021

  • 离线目标条件强化学习的 $f$- 优势回归方法

    提出了一种新的基于回归的离线 GCRL 算法 GoFAR，通过状态匹配方法解决了目标达成任务问题，并充分利用价值函数和策略网络的优势，在离线性能和稳定性方面表现优异。GoFAR 的训练目标还可以用于纯离线数据学习无特定环境的目标条件规划器，实现了零样本迁移。通过实验证明，GoFAR 在各种问题和任务中都表现出比之前现有技术的显著优势。

    Jun, 2022

  • 目标识别作为强化学习

    本文提出了一种结合基于模型的强化学习和目标识别的框架，在离线学习和在线推理阶段分别使用 tabular Q-learning 和三种推理度量，以解决目标识别中需要手动设计、在线计算等问题，从而在标准评估环境中实现了最先进的性能，同时在嘈杂环境中也表现出了优异的性能。

    Feb, 2022

  • PlanGAN：基于模型的稀疏奖励和多目标规划

    本研究提出了 PlanGAN，一种使用模型的算法，专门针对具有稀疏奖励环境的多目标任务进行求解，该算法比最成功的基于无模型 RL 算法的方法在提高 4-8 倍的样本效率下达到可比较的表现。

    Jun, 2020

  • 在线强化学习中的规划的新视角

    本文提出了一种新的基于模型的强化学习方法，使用背景规划来混合（近似）动态规划和无模型更新，以解决学习模型的不准确性和生成无效状态的问题，并通过约束背景规划到一组（抽象的）子目标和只学习局部的、以子目标为条件的模型来提高计算效率，自然地包含时间抽象以实现更快的长期规划，并完全避免学习转换动力学，展示了该方法在不同领域中可以帮助各种基础学习者更快地学习。

    Jun, 2024

  • 子目标模型的目标空间规划

    本文介绍了一种新的基于模型的强化学习方法来使用背景计划：将（近似）动态规划更新和无模型更新混合，类似于 Dyna 架构。我们通过将背景规划限制在一组（抽象）子目标上，并仅学习本地的、子目标条件模型的方法来避免高内存和计算使用率的不足，并证明了我们的 GSP 算法在各种情况下可以比 Double DQN 基线学习得更快。

    Jun, 2022