Feb, 2015

从像素到力矩：利用深度动力学模型进行策略学习

PDF
TL;DR本研究解决了一个挑战性问题，即训练一个只使用像素信息来学习闭环控制的智能体。我们提出了一种数据高效且基于模型的增强学习算法，其中关键因素是一个深度动态模型，它使用深度自编码器来学习图像的低维嵌入，并结合在这个低维特征空间的预测模型来直接学习闭环策略。与现有的连续状态和动作的强化学习方法相比，我们的方法学习快速、可适应高维状态空间且可扩展性强，这是实现完全自主单从像素到扭矩的学习的重要一步。
data-efficient learningcontinuous state-action spacesmodel-based reinforcement learningdeep dynamical modeladaptive model predictive control
发现论文，激发创造
  • 使用深度动态模型从图像像素中高效学习反馈策略

    本文提出了一种数据有效、基于模型的强化学习算法，通过使用像素信息直接学习闭环控制策略，实现了从像素到扭矩的端到端学习。该方法具有快速学习、高维状态空间可扩展、轻量级等优点，并且是解决在连续状态和动作下进行数据有效强化学习问题的重要步骤。

    Oct, 2015

  • 自监督学习图像嵌入以进行连续控制

    本研究探讨了完全自我监督的学习方法，基于状态达成最短时间来实现通用图像嵌入和控制基元，同时介绍了一种新的状态操作价值函数结构，建立了模型自由和模型基础方法之间的联系，并提高了学习算法的性能。三项模拟机器人任务的实验结果表明了这些发现。

    Jan, 2019

  • 从图像像素中学习深度动态模型

    采用深度自动编码器和预测性转移模型相结合的方法，从像素信息中学习动态系统的良好预测模型。

    Oct, 2014

  • 神经动态策略的端到端感觉 - 运动学习

    该论文提出了一种新的策略表示 —— 神经动力学策略，通过将动力学系统嵌入到神经网络策略中，通过二阶微分方程来重新参数化动作空间以实现端到端的政策学习，并在几个机器人控制任务中展示了神经动态策略比传统的基于先验的策略学习方法更高的效率和性能表现。

    Dec, 2020

  • 使用逆动力学模型从像素规划

    提出了一种新的方法来学习依赖任务完成的未来动作序列预测的潜在世界模型，该模型适应地关注任务相关的动态学习，并同时充当稀疏奖励下计划的有效启发式方法，通过挑战性的视觉目标完成任务的评估，我们发现该方法较之前的无模型方法在性能上有了显著提高。

    Dec, 2020

  • 从像素学习潜在动力学规划

    通过图像学习环境动态、通过快速在线规划选择动作，利用深度计划网络（PlaNet）解决了连续控制任务中的挑战，同时使用的强度模型相对较少。

    Nov, 2018

  • 深度强化学习的连续控制

    本论文将 Deep Q-Learning 算法应用于连续动作域，并提出了一种基于确定性策略梯度的演员 - 评论家模型无模型算法，可在连续动作空间中进行操作，成功解决了 20 多个模拟物理任务，并能与完全访问动态并了解其导数的规划算法相竞争，并证明该算法对许多任务能够进行端到端学习。

    Sep, 2015

  • 连续随机动力学学习环境模型

    通过深度强化学习、自动化学习和马尔可夫决策过程等技术，学习出由自主智能体控制的环境模型，以解决复杂环境下的控制问题，并在多个强化学习基准环境中验证了方法的有效性。

    Jun, 2023

  • 动态感知嵌入

    本文提出一种自监督表示学习方法，通过正向预测目标同时学习环境状态和动作序列的嵌入表示，以提高强化学习的采样效率和策略学习性能。研究表明，使用本文提出的动作嵌入表示已经能够在低维状态下有效提高模型无关的强化学习的采样效率和峰值性能。同时，结合状态嵌入和动作嵌入表示可以在只进行 100-200 万次环境步骤的情况下，快速、高效地学习高质量的基于目标条件的连续控制策略。

    Aug, 2019

  • 采用潜空间模型的基于图像的离线强化学习

    该研究提出了一种基于模型的离线 RL 算法，该算法可扩展应用于高维视觉观测空间，通过学习潜在状态动力学模型并在潜在空间中表示不确定性来克服图像观测的挑战，并在多项具有挑战性的基于图像的移动和操纵任务中取得了优异的表现。

    Dec, 2020