使用逆动力学模型从像素规划

Dec, 2020

Planning from Pixels using Inverse Dynamics Models

Keiran Paster, Sheila A. McIlraith, Jimmy Ba

TL;DR提出了一种新的方法来学习依赖任务完成的未来动作序列预测的潜在世界模型，该模型适应地关注任务相关的动态学习，并同时充当稀疏奖励下计划的有效启发式方法，通过挑战性的视觉目标完成任务的评估，我们发现该方法较之前的无模型方法在性能上有了显著提高。

Abstract

Learning task-agnostic dynamics models in high-dimensional observation spaces can be challenging for model-based RL agents. We propose a novel way to learn latent world models by learning to predict sequences of future actions conditioned on task completion. These task-conditioned mode

model-based reinforcement learning world models task conditioning latent variable models visual goal completion

发现论文，激发创造

从像素学习潜在动力学规划

通过图像学习环境动态、通过快速在线规划选择动作，利用深度计划网络（PlaNet）解决了连续控制任务中的挑战，同时使用的强度模型相对较少。

Nov, 2018

目标感知预测：学习如何模拟重要因素

该论文提出了一种基于自监督学习的学习动力学模型，该模型可用于任务规划和策略学习，避免了视觉控制任务中由于真实环境的复杂度超过模型容量所导致的训练效率低的问题。

Jul, 2020

面向任务不可知的深度强化学习动态先验

通过学习通用的动力学先验以及使用物理视频进行预训练和微调，我们提出了一种加速政策学习和改进表现的基于模型的深度强化学习方法，同时也实现了更有效的环境迁移。

May, 2019

使用深度动态模型从图像像素中高效学习反馈策略

本文提出了一种数据有效、基于模型的强化学习算法，通过使用像素信息直接学习闭环控制策略，实现了从像素到扭矩的端到端学习。该方法具有快速学习、高维状态空间可扩展、轻量级等优点，并且是解决在连续状态和动作下进行数据有效强化学习问题的重要步骤。

Oct, 2015

想象价值梯度：基于模型的策略优化和可转移的潜在动态模型

本文研究如何通过模型驱动的增强学习方法促进任务转移，提出了基于动作条件的预测模型学习算法，用于机器人操作任务中的策略优化并在转移学习场景中取得了显著的学习速度提升。

Oct, 2019

基于模型的视觉演示逆强化学习

本文介绍了一种基于梯度的反向强化学习框架，利用预训练的视觉动态模型从视觉人类演示中学习成本函数，并通过视觉模型预测控制来复制演示行为，以解决机器人操作中的未知动力学等问题。我们在两个基本的对象操作任务上评估了我们的框架。

Oct, 2020

基于上下文感知的模型动态学习在强化学习中的泛化应用

该论文提出了一种用于强化学习中学习动态全局模型的方法，通过将学习全局动态模型的任务分解为学习本地动态的上下文潜向量和条件预测下一个状态来实现此目的，并通过鼓励上下文潜向量在预测正向和反向动态方面有用来编码动态特定信息。该方法在各种模拟机器人控制任务中实现了优异的泛化能力，超过了现有的强化学习方案。

May, 2020

利用跳跃模型进行机器人领域的规划和快速学习

本文研究了从未标记的经验中学习多步动态预测模型（跳跃模型）及其在后续任务中快速推理（高级）计划的实用性。通过离线学习技能嵌入空间，我们提出了一种学习跳跃模型的方法，不需要标签或奖励注释。通过在 RGB 堆栈环境中进行一系列实验，展示了通过学习技能和相关模型进行规划可以实现对新任务的零 - shot 泛化，并且可以通过强化学习进一步加速策略的训练。这些实验表明，结合时间抽象的 jumpy 模型可以促进长视角任务中的规划，这些任务在标准动态模型中难以实现。

Feb, 2023

通过模仿自然序列中的动态进行视觉预测

我们引入了一种通用的视觉预测框架，旨在直接模仿视觉序列而不需要额外的监督。我们通过将视觉预测转化为逆强化学习问题，并通过可训练的深层特征表示扩展最近的进展来解决计算瓶颈。我们在低级像素到高级语义的三个不同级别上评估了我们的方法，在所有级别上，我们的方法都优于现有的方法。

Aug, 2017

从像素到力矩：利用深度动力学模型进行策略学习

本研究解决了一个挑战性问题，即训练一个只使用像素信息来学习闭环控制的智能体。我们提出了一种数据高效且基于模型的增强学习算法，其中关键因素是一个深度动态模型，它使用深度自编码器来学习图像的低维嵌入，并结合在这个低维特征空间的预测模型来直接学习闭环策略。与现有的连续状态和动作的强化学习方法相比，我们的方法学习快速、可适应高维状态空间且可扩展性强，这是实现完全自主单从像素到扭矩的学习的重要一步。

Feb, 2015