Sep, 2018

面向部分观测的基于模型的控制传播网络

HTML
PDF
TL;DR本文介绍了PropNet——一种可学习的动力学模型，能够在部分可观测场景下进行模型控制，并实现信号的即时传播。实验结果表明，与其他学习物理引擎相比，PropNet的前向模拟性能更好，在各种控制任务中也表现出更高的性能。与现有的模型无深度强化学习算法相比，使用Propagation Networks实现模型控制更准确、有效，且更具普适性。
发现论文，激发创造
  • 路径积分网络:端到端可微分最优控制

    本文提出了一种叫做 PI-Net 的循环神经网络，使用路径积分最优控制算法来实现系统动态学习及成本模型，并通过反向传播和随机梯度下降来端到端地学习动态和成本模型，从而实现规划。通过模仿学习的方式训练 PI-Net，它可以在两个模拟问题上模拟控制演示，并且可以学习演示中的动态和成本模型。

    Jun, 2017

  • 可学习的物理引擎图网络用于推理和控制

    介绍了一种基于图网络的学习模型，实现了对象和关系为中心的表示的归纳偏差，从而能够更准确地预测复杂动态系统的行为，并支持在线与离线规划。

    Jun, 2018

  • 从视觉观察中学习可操作的表征

    本文研究了使用自我监督学习来学习连续控制任务的对抗学习方法。通过将多个帧联合嵌入到嵌入空间中，我们扩展了时间对比网络（TCN），从而能够更准确地编码位置和速度属性。我们证明了这种方法在强化学习任务中有效，可以通过仅使用学习到的嵌入作为输入，使用像Proximal Policy Optimization（PPO）这样的算法来学习连续控制策略。

    Aug, 2018

  • 面向任务不可知的深度强化学习动态先验

    通过学习通用的动力学先验以及使用物理视频进行预训练和微调，我们提出了一种加速政策学习和改进表现的基于模型的深度强化学习方法，同时也实现了更有效的环境迁移。

    May, 2019

  • 深度Lagrangian网络：以物理学为深度学习的模型先验

    使用理论物理知识，以很少的数据为样本，提出了一种新的深度学习方法Deep Lagrangian Networks(DeLaN)，可用于机器人轨迹跟踪控制，能够在实时学习中更快速，更准确地进行模型学习， 并能更加可靠地对新的轨迹进行外推

    Jul, 2019

  • 利用图网络学习模拟复杂物理现象

    本研究提出了一种基于图神经网络的模拟器框架，通过学习信息传递来模拟包括流体、刚性固体和可变形材料在内的各种复杂物理现象，模型从单一粒子预测到测试时的数千个粒子，并且能够处理不同的初始条件和数万个时间步骤，具有较强的可靠性与预测能力。

    Feb, 2020

  • 使用图嵌入网络学习基于网格的仿真

    MeshGraphNets是一种利用图神经网络学习网格化仿真的框架，具有自适应性和高效性，能够应用于广泛的物理系统仿真任务。

    Oct, 2020

  • 基于模型的SINDy强化学习

    利用物理学领域的最新进展，提出一种新的方法来发现强化学习中物理系统的控制非线性动态，并证明此方法能够在很少的轨迹采样数量（仅需要一次$≤30$时间步的轨迹）下发现此动态，从而为系统带来基于模型的强化学习的好处，并且不需要事先开发模型。该算法在四个控制问题上的实验表明，训练得到的基于控制系统真实动态的最优策略泛化能力强，且对于实际物理系统具有很好的性能表现。与现有的其他方法相比，该方法需要采样更少的真实物理系统轨迹。

    Aug, 2022

  • 通过转移模型学习连续控制策略

    通过学习过渡模型，我们可以使用它来驱动摊销政策的学习。因此，我们重访了政策优化并描述了一个模块化神经网络架构，该架构从预测错误中同时学习了系统动力学和生成适当连续控制命令的随机策略，并通过与线性二次调节器的基线进行比较来评估模型。

    Sep, 2022

  • 受物理启发的神经图ODE用于长期动态仿真

    通过使用物理启发的神经图常微分方程算法（Physics-Inspired Neural Graph ODE），我们提出了一种更好地建模离散监督信号下潜在轨迹的方法，同时利用基于GNN的模型以插拔的方式对神经图常微分方程进行参数化，实验证明我们的模型在长期预测和演化误差方面相较于现有方法有数量级的提升。

    Aug, 2023