Jul, 2023

离线强化学习的隐式计划器：以目标条件预测编码为例

PDF
TL;DR本研究探讨了序列建模在轨迹数据中提取有用表示并对政策学习做出贡献的能力，并引入了 Goal-Conditioned Predicitve Coding (GCPC) 方法，通过对未来的目标条件潜在表示进行学习实现了竞争力表现。
sequence modelingoffline-collected trajectoriespolicy learningsupervised offline rl methodsgoal-conditioned latent representation
发现论文，激发创造
  • GOPlan: 使用学习模型通过规划进行目标条件下离线强化学习

    提出了一种新的基于模型的两阶段框架，Goal-conditioned Offline Planning（GOPlan），通过预训练一个能够捕捉多模式行为分布的先验策略，并利用规划生成假想轨迹进行微调策略，实现了离线多目标操作任务上最先进的性能。

    Oct, 2023

  • 基于好奇心探索的目标条件离线规划

    通过分析优化目标条件下的价值函数的几何特征，我们提出了一种使用基于模型的规划和基于图形的价值聚合方案相结合的方法来纠正学习价值函数中的估计伪像，并在各种模拟环境中显著提高了零 - shot 目标达成性能。

    Nov, 2023

  • 具有目标条件的分层预测器的长视程视觉规划

    本研究提出了一种基于目标条件的预测模型，将其与层次模型相结合，以实现长时间跨度的视觉预测和规划任务。

    Jun, 2020

  • 在潜空间中通过组合目标实现高效在线微调

    本文提出了一种名为 Planning to Practice（PTP）的方法，旨在解决普适性机器人面临的目标达成困难和训练代价高的问题，通过分解目标化问题和离线增强学习与在线探索相结合的方法，实现对复杂任务的有效训练和解决。

    May, 2022

  • 重新思考目标导向式监督学习及其与离线强化学习的关联

    本文提出了一种名为 Weighted GCSL 的离线目标导向强化学习算法，通过引入高级复合权重，优化目标达成的下界限，具有优异的性能表现，特别适用于点和模拟机器人方面。

    Feb, 2022

  • 使用条件扩散模型拼接子轨迹以实现目标条件离线强化学习

    使用 SSD 模型，基于离线数据集利用条件扩散模型生成高质量计划，成功将离线数据中的子优化轨迹段拼接起来，并在 GCRL 标准基准任务中取得了领先水平的性能。

    Feb, 2024

  • 对比差异预测编码

    本文介绍了一种自适应时间差异版对比性预测编码，通过拼接不同时间序列数据的片段来减少学习未来事件预测所需的数据量，并将该方法应用于推导目标条件强化学习的离线策略算法。实验表明，与先前的强化学习方法相比，我们的方法在成功率方面取得了 2 倍的中值提高，能够更好地应对随机环境。在表格设置中，我们展示了我们的方法比后续表示方法更节约样本，比标准（蒙特卡洛）版本的对比性预测编码更节约样本数量约 20 倍和 1500 倍。

    Oct, 2023

  • 使用目标条件策略模拟基于图的规划

    该论文提出了一种基于图形规划算法和自我模仿的方法，通过提取子目标策略来优化目标目标策略，从而提高在长期任务中实现指定目标的样本效率。

    Mar, 2023

  • HIQL：将潜在状态作为行动的离线目标条件强化学习

    无监督预训练成为了计算机视觉和自然语言处理的基石。强化学习中的目标条件下增强学习可以提供类似的自监督方法，以利用大量无标签（无回报）数据。本文提出了一种基于层次结构的算法，用于从离线数据中进行目标条件下的增强学习，并证明了该方法对估计值函数中的噪声具有鲁棒性，并且能够解决具有长时间跨度的任务。

    Jul, 2023

  • 基于目标条件策略的规划

    本文提出了一种结合规划方法和强化学习的方法，利用强化学习学习目标驱动策略，从而让规划方法更好地实现任务；同时利用一个潜在变量模型来简洁地表示规划中的有效状态，从而将行为抽象和状态抽象分离。实验结果表明本文提出的方法能够在机器人导航和操作任务中显著优于以往的规划和模型自由方法。

    Nov, 2019