ICMLNov, 2018

在动态环境中使用条件自回归模型进行规划

PDF
TL;DR本文演示了使用条件自回归生成模型（van den Oord 等人，2016a）在离散潜在空间（van den Oord 等人，2017b）上进行 MCTS 的前向规划的方法。通过在包含不同难度级别、移动目标和障碍物的新环境中测试该方法，高质量帧生成和传统规划方法的结合几乎可以匹配我们任务的真实环境性能，这表明了该方法在动态环境中进行基于模型的规划的实用性。
发现论文，激发创造
  • 用于规划的矢量量化模型

    使用离散自编码器来处理动作在随机环境中引起的多种可能性，再结合随机版 Monte Carlo 树搜索算法规划代理的动作和代表环境反应的离散潜变量，明显优于 MuZero 在处理随机国际象棋和 DeepMind Lab 等部分观测模型的 RL 问题中的表现。

    Jun, 2021

  • 具有空间记忆的生成时序模型用于部分可观测环境

    本文提出了一种新型的基于模型的强化学习方法，利用生成模型和时序模型进行环境建模以达到优化智能体表现的目的，该模型可用于部分观察到的 2D 和 3D 环境中进行跨时间点的预测。

    Apr, 2018

  • 离线策略评估和优化的自回归动态模型

    提出了一种基于自回归动力学模型的控制模型，分析了其在离线数据集 RL Unplugged 中的表现，证明其在策略优化中具有潜在应用。

    Apr, 2021

  • 城市驾驶中可行的离散行为模式的联合预测和规划

    在自动驾驶中，已经取得了训练多模态轨迹预测模型的重大进展，然而，有效地将这些模型与下游规划器和基于模型的控制方法整合仍然是一个待解决的问题。我们提出了一种使用学习的锚点嵌入来预测多条轨迹的最新轨迹预测方法，并发现这些锚点嵌入可以对表示高级驾驶行为的离散且不同模式进行参数化。我们建议在这些离散潜在模式上进行完全反应式的闭环规划，从而可以在每一步追踪建模代理之间的因果交互。在一系列更动态的合并场景上验证了我们的方法，并发现我们的方法避免了常规规划器中普遍存在的 “冻结机器人问题”。在实际速度下评估时，在具有挑战性的密集交通场景中，我们的方法也优于 CARLA 上的先前最先进方法。

    Mar, 2024

  • PcLast: 发现可规划的连续潜在状态

    我们学习到一种能够关联可达状态的表示方法，通过学习多步逆动力学获得一个潜在表示，并将其转换为在 l2 空间中关联可达状态，这种方法可以显著提高采样效率，并实现层次化规划。

    Nov, 2023

  • 使用逆动力学模型从像素规划

    提出了一种新的方法来学习依赖任务完成的未来动作序列预测的潜在世界模型，该模型适应地关注任务相关的动态学习，并同时充当稀疏奖励下计划的有效启发式方法，通过挑战性的视觉目标完成任务的评估，我们发现该方法较之前的无模型方法在性能上有了显著提高。

    Dec, 2020

  • 基于网格化规划条件下未知环境下的轨迹预测

    本文介绍一种基于最大熵逆强化学习 (MaxEnt IRL) 的计划采样方法，以提高对未知环境下行人和车辆运动轨迹的准确性和多样性，同时考虑多模式预测分布和场景结构的影响。在 Stanford drone 和 NuScenes 数据集上的实验表明，所提出的轨迹生成方法能够生成符合复杂场景结构的多元精确预测轨迹。

    Jan, 2020

  • 条件生成建模是否足以支持决策制定？

    本文探讨了利用条件生成模型解决顺序决策问题的可能性，并提出了一种新的 return-conditional diffusion 模型的策略模型，使得模型训练不再需要动态规划算法，成功在一些标准测试上优于现有离线强化学习算法，证明条件生成建模是一种强大的决策制定工具。

    Nov, 2022

  • 隐空间中的基于模型的规划的时间预测编码

    本文使用时间预测编码等方法，构建了一种信息论方法的强化学习模型，可帮助解决高维度观测值与复杂背景的问题。

    Jun, 2021

  • 循环环境仿真器

    提出使用循环神经网络的环境模拟器，以提高效率，改善不同环境的探索，并解决计算效率问题。

    Apr, 2017